- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
- AppStage使用前准备
- AI原生应用引擎用户指南
- 开发中心用户指南
-
运维中心用户指南
- 运维中心简介
- 运维中心使用前准备
- 运维中心使用流程
- 进入运维中心
- 接入资源
- 部署应用
- 监控资源和应用
- 管理已纳管资源
- 管理运行时资源
- 管理工单
- 运营中心用户指南
- 最佳实践
- 开发指南
- API参考
- SDK参考
-
常见问题
- 权限管理
-
AI原生应用引擎
- 我创建的微调数据集会被其他用户调用去训练他们的大模型吗?
- 模型微调任务一直在等待中是什么原因?
- 大模型微调需要的数据有要求吗?
- AI原生应用引擎支持所有数据集进行数据标注吗?
- AI原生应用引擎中预置了哪些提示语?
- AI原生应用引擎训练好后的模型如何获取?
- 模型调测时,无法选择模型服务商API是什么原因?
- 我接入的模型需要满足什么要求才能在创建Agent时作为思考模型?
- Agent问答的时候报错“很抱歉,我的系统似乎遇到了一些故障问题,暂时无法为您提供服务”
- 自接入的模型在模型调测的时候报错是什么原因?
- 开源模型怎么部署?
- 平台有没有预置模型?
- 思考模型和问答模型的区别
- 工作流中知识库节点、LLM节点都需要配置实例,实例的API Key填什么?
- 工作流中工具节点的实例如何配置?
- 如何获取Agent发布时要所需的API Key?
- 如何保证Agent每次问答都调用知识库?
- 工作流的返回是json格式,但是大模型会进行总结,如何以json格式直接输出?
- 如何在工作流中定制逻辑实现特定任务,比如时间格式转换、数组对象的push等
- 资产中心的工具怎么使用?
- Code代码节点的输入输出参数如何与其他节点进行交互和传递?
- Agent问答的时候没有回答
- 发布Agent的时候提示套餐校验失败
- 一站式创建Agent时如何取消选择默认模型,更换为其他模型
- 按照标题切分的时候,分段长度是什么意思?
- 工作流已启用,为什么在创建Agent时仍然无法选用?
- 如何通过调用Agent API将变量传递到工作流?
- 开发中心
- 运维中心部署服务
-
运维中心监控服务
- 如何查看EAP详细日志?
- 删除告警任务失败
- 告警后触发知识编排任务提示alert_type不存在
- 创建CES指标采集报错
- 如何卸载虚拟机上安装的filebeat?
-
异常检测Judge定时任务失败
- KeyError
- TypeError: not supported between instances of 'str' and 'float'
- TypeError("Cannot index by location index with a non-integer key")
- judge长时间处于SUBMIT状态直至失败
- fail to load model json
- judge日志无法查看,提示get request error
- judge日志大小1KB,且不刷新日志内容
- PSQLException: ERROR: invalid input syntax for type numeric
- PSQLException: ERROR: syntax error at or near
- too much null size
- judge_data_size(in):0
- ERROR - fail to load
- canceling statement due to user request
- 保存异常检测告警配置时报错
- 运维中心弹性资源服务
- 运维中心弹性网络服务
- 运维中心主机管理服务
- 运维中心微服务平台
-
运维中心负载均衡
-
SLB同步异常相关问题
- SSL_do_handshake() failed
- test nginx: nginx: [emerg] host not found in upstream "后端服务器名称" in /.../server...conf:17 nginx: .../nginx.conf test failed [FAILED
- no "ssl_certificate" is defined for the "listen ... ssl""
- no such file or directory......./ssl/dummy.pem
- test nginx: nginx: [alert] mmap(MAP_ANON|MAP_SHARED, 524288000) failed (12: Cannot allocate memory) nginx: [alert] munmap(FFFFFFFFFFFFFFFF, 524288000) failed
- duplicate value "error" in /opt/huawei/openresty/nginx/.../xxx.conf:40
- SLB同步检查不一致
- SLB一直同步,心跳异常
-
SLB部署失败相关问题
- FATAL Can't get local ip
- /etc/rc.d/init.d/functions: No such file or directory
- nginx is stopped
- will_upgrade\old_version:1.4.7
- Need to modify /etc/hosts,but no permission.
- system param fs.nr_open should not less than fs.file-max”or“system param net.ipv4.ip_local_port_range should >=30000
- some permission denied files in /opt/huawei/openresty/nginx/conf/
- Permission denied: '/opt/huawei/release/lf_test/SLB/
- install_slb_failed for /opt/huawei/openresty exists not for slb
- not all conf included in vhosts or slb_conf
- watchdog still running
- job 28e7241e42904334b failed
- [Service proxy.apply_sudo._wrapped_f]: fail to operator sudo,message: send request fail, status code: 400, error: None, message: illegal param\",\"status\":-2}
- some html not in /opt/huawei/openresty/nginx/html
- cannot access /opt/huawei/openresty/nginx/conf/ssl/sample/resty-auto-ssl-fallback.pem.Permission denined
- fail to operator sudo, message: send request fail, status code: 400, task: control sudo permission, status: failed
- some certificate not in /opt/huawei/openresty/nginx/conf/ssl
- crontab -l \n+ echo 'Permission denied crontab'
- 资源间绑定服务不一致
-
SLB同步异常相关问题
- 运维中心数据库治理
- 运维中心访问凭据管理服务
- 运营中心
- 管理控制台用户指南(即将下线)
- 业务控制台用户指南(即将下线)
-
运行时引擎用户指南(即将下线)
- AppStage运行时引擎简介
- AppStage运行时引擎使用前准备
- 进入AppStage运行时引擎
- 通过微服务平台管理微服务及相关资源
- 配置运行时引擎负载均衡
- 管理Cloud Map中的服务资源
- 配置运行时引擎数据库治理
- 配置访问凭据管理服务
- 文档下载
- 通用参考
链接复制成功!
调测/体验模型
通过调测模型,可检验模型的准确性、可靠性及反应效果,发现模型中存在的问题和局限性,确保模型能够在实际应用中正常运行,并且能够准确地预测和处理数据。
支持对我的模型(我部署的、我接入的)、我的路由策略、平台预置的模型以及平台接入的第三方模型进行调测。
前提条件
对平台接入的第三方模型进行调测前,需要先设置鉴权,具体操作请参见如何对平台接入的第三方模型服务设置鉴权。
调测模型
- 在AI原生应用引擎的左侧导航栏选择“模型中心 > 模型调测”。
如果对资产中心的模型进行调测,您也可以在左侧导航栏单击“资产中心”,选择“大模型”页签,将鼠标移至目标模型卡片并单击“体验”,进入模型调测页面。
- 在“模型调测”页面,可调测文本对话类型模型、文本生图类型模型、图像理解类型模型、语音转文本类型模型、文本向量化类型模型、文本转语言类型模型以及文本排序类型模型。
- 调测文本对话类型模型,具体操作如下:
- 在“模型类型”下选择“文本对话”并配置表1所示参数。
表1 调测文本对话类型模型参数说明 参数名称
参数说明
模型服务
选择待调测的模型服务,在下拉列表可选:
- 模型服务商API(平台接入的第三方模型)
- 预置模型API(平台预置的开源模型)
- 我的模型API(我部署的、我接入的)
- 我的路由策略
输出方式
可选非流式、流式。二者区别如下:
- 非流式:调用大语言模型推理服务时,根据用户问题,获取大语言模型的回答,大语言模型完整生成回答后一次性返回。
- 流式:调用大语言模型推理服务时,根据用户问题,获取大语言模型的回答,逐个字词的快速返回模式,不需等待大语言模型生成完成。
输出最大token数
表示模型输出的最大token数。
温度
较高的数值会使输出更加随机,而较低的数值会使其更加集中和确定。建议该参数和“多样性”只设置1个。
多样性
影响输出文本的多样性,取值越大,生成文本的多样性越强。建议该参数和“温度”只设置1个。
存在惩罚
介于-2.0和2.0之间的数字。正值会尽量避免重复已经使用过的词语,更倾向于生成新词语。
频率惩罚
介于-2.0和2.0之间的数字。正值会尽量避免使用常见的单词和短语,更倾向于生成较少见的单词。
内容安全监测配置
当“输出方式”为“非流式”时,显示此参数。
选择是否打开开关,开启后,可对返回内容中的文本和图片进行安全监测。
- 在右侧“效果预览”区域,可通过以下两种方式进行模型调测。
- 在对话输入框输入测试语句后按Enter键或单击
进行模型调测。
- 单击“引用已有提示语模板”,弹出“选择模板”面板,可通过分类筛选我创建的、我收藏的或平台预置的提示语模板,然后按Enter键或单击
进行模型调测。
- 在对话输入框输入测试语句后按Enter键或单击
- 在“模型类型”下选择“文本对话”并配置表1所示参数。
- 调测文本生图类型模型,具体操作如下:
- 在“模型类型”下选择“文本生图”并配置表2所示参数。
- 单击“生成图片”,在右侧“效果预览”区域即可收到生成的图片。
- 调测图像理解类型模型,具体操作如下:
- 在“模型类型”下选择“图像理解”并配置以下参数。
- 模型服务:选择要调测的模型服务,在下拉列表可选模型服务商API。
- 上传图片:单击
,可上传本地图片。
- 内容安全监测配置:选择是否打开开关,开启后,可对返回内容中的文本和图片进行安全监测。
- 提示语内容:描述需要知道图片中什么信息,例如:图片里有什么?
- 单击“生成图像理解”,在右侧“效果预览”区域即可收到信息解答。
- 在“模型类型”下选择“图像理解”并配置以下参数。
- 调测语音转文本类型模型,具体操作如下:
- 在“模型类型”下选择“语音转文本”并配置表3所示参数。
表3 调测语音转文本类型模型参数说明 参数名称
参数说明
模型服务
选择要调测的模型服务,在下拉列表可选:
- 模型服务商API(平台接入的第三方模型)
- 预置模型API(平台预置的开源模型)
上传音频
单击“添加音频”,上传音频文件(只能上传MP3/AAC/WAV文件,且不能超过25MB)。
语言
在下拉列表选择转换成的语言种类“中文”或“英文”,默认为音频文件原语言,可以做语言翻译任务。
输出格式
可选格式包括:
- json
- verbose_json
分段粒度
当“输出格式”为“verbose_json”时,需配置此参数。
可选包括:
- segment:较短的文本片段。
- word:单个的中文汉字或英文单词。
温度
较高的数值会使输出更加随机,而较低的数值会使其更加集中和确定。
内容安全监测配置
选择是否打开开关。
开启后,可对返回内容中的文本和图片进行安全监测。
- 单击“生成语音转文本”,在右侧“效果预览”区域即可收到生成的文本。
- 在“模型类型”下选择“语音转文本”并配置表3所示参数。
- 调测文本向量化类型模型,具体操作如下:
- 在“模型类型”下选择“文本向量化”并配置以下参数。
- 模型服务:选择要调测的模型服务,在下拉列表可选:
- 模型服务商API(平台接入的第三方模型服务)
- 预置模型API(平台预置的开源模型)
- 我的模型API(我部署的、我接入的)
- 请输入文本,可参照以下示例输入文本。
- 示例1:那是个快乐的人
- 示例2: ["那是个快乐的人", "那是个高兴的人", "那是个忧郁的人"]
- 模型服务:选择要调测的模型服务,在下拉列表可选:
- 单击“生成向量化”,在右侧“效果预览”区域即可收到生成结果。
- 在“模型类型”下选择“文本向量化”并配置以下参数。
- 调测文本转语音类型模型,具体操作如下:
- 在“模型类型”下选择“文本转语音”并配置表4所示参数。
- 单击“文本生成语音”,在右侧“效果预览”区域即可收到生成结果。
- 调测文本排序类型模型,具体操作如下:
- 在“模型类型”下选择“文本排序”并配置表5所示参数。
- 单击“开始排序”,在右侧“效果预览”区域即可收到生成结果。
- 调测文本对话类型模型,具体操作如下: