应用平台 AppStage
应用平台 AppStage
- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
- AppStage使用前准备
- AI原生应用引擎用户指南
- 开发中心用户指南
-
运维中心用户指南
- 运维中心简介
- 运维中心使用前准备
- 运维中心使用流程
- 进入运维中心
- 接入资源
- 部署应用
- 监控资源和应用
- 管理已纳管资源
- 管理运行时资源
- 管理工单
- 运营中心用户指南
- 最佳实践
- 开发指南
- API参考
- SDK参考
-
常见问题
- 权限管理
-
AI原生应用引擎
- 我创建的微调数据集会被其他用户调用去训练他们的大模型吗？
- 模型微调任务一直在等待中是什么原因？
- 大模型微调需要的数据有要求吗？
- AI原生应用引擎支持所有数据集进行数据标注吗？
- AI原生应用引擎中预置了哪些提示语？
- AI原生应用引擎训练好后的模型如何获取？
- 模型调测时，无法选择模型服务商API是什么原因？
- 我接入的模型需要满足什么要求才能在创建Agent时作为思考模型？
- Agent问答的时候报错“很抱歉，我的系统似乎遇到了一些故障问题，暂时无法为您提供服务”
- 自接入的模型在模型调测的时候报错是什么原因？
- 开源模型怎么部署？
- 平台有没有预置模型？
- 思考模型和问答模型的区别
- 工作流中知识库节点、LLM节点都需要配置实例，实例的API Key填什么?
- 工作流中工具节点的实例如何配置?
- 如何获取Agent发布时所需的API Key？
- 如何保证Agent每次问答都调用知识库?
- 工作流的返回是json格式，但是大模型会进行总结，如何以json格式直接输出?
- 如何在工作流中定制逻辑实现特定任务，比如时间格式转换、数组对象的push等
- 资产中心的工具怎么使用?
- Code代码节点的输入输出参数如何与其他节点进行交互和传递?
- Agent问答的时候没有回答
- 发布Agent的时候提示套餐校验失败
- 一站式创建Agent时如何取消选择默认模型，更换为其他模型
- 按照标题切分的时候，分段长度是什么意思?
- 工作流已启用，为什么在创建Agent时仍然无法选用？
- 如何通过调用Agent API将变量传递到工作流？
- 开发中心
- 运维中心部署服务
-
运维中心监控服务
- 如何查看EAP详细日志？
- 删除告警任务失败
- 告警后触发知识编排任务提示alert_type不存在
- 创建CES指标采集报错
- 如何卸载虚拟机上安装的filebeat？
-
异常检测Judge定时任务失败
- KeyError
- TypeError: not supported between instances of 'str' and 'float'
- TypeError("Cannot index by location index with a non-integer key")
- judge长时间处于SUBMIT状态直至失败
- fail to load model json
- judge日志无法查看，提示get request error
- judge日志大小1KB，且不刷新日志内容
- PSQLException: ERROR: invalid input syntax for type numeric
- PSQLException: ERROR: syntax error at or near
- too much null size
- judge_data_size(in):0
- ERROR - fail to load
- canceling statement due to user request
- 保存异常检测告警配置时报错
- 运维中心弹性资源服务
- 运维中心弹性网络服务
- 运维中心主机管理服务
- 运维中心微服务平台
-
运维中心负载均衡
-
SLB同步异常相关问题
- SSL_do_handshake() failed
- test nginx: nginx: [emerg] host not found in upstream "后端服务器名称" in /.../server...conf:17 nginx: .../nginx.conf test failed [FAILED
- no "ssl_certificate" is defined for the "listen ... ssl""
- no such file or directory......./ssl/dummy.pem
- test nginx: nginx: [alert] mmap(MAP_ANON|MAP_SHARED, 524288000) failed (12: Cannot allocate memory) nginx: [alert] munmap(FFFFFFFFFFFFFFFF, 524288000) failed
- duplicate value "error" in /opt/huawei/openresty/nginx/.../xxx.conf:40
- SLB同步检查不一致
- SLB一直同步，心跳异常
-
SLB部署失败相关问题
- FATAL Can't get local ip
- /etc/rc.d/init.d/functions: No such file or directory
- nginx is stopped
- will_upgrade\old_version:1.4.7
- Need to modify /etc/hosts,but no permission.
- system param fs.nr_open should not less than fs.file-max”or“system param net.ipv4.ip_local_port_range should >=30000
- some permission denied files in /opt/huawei/openresty/nginx/conf/
- Permission denied: '/opt/huawei/release/lf_test/SLB/
- install_slb_failed for /opt/huawei/openresty exists not for slb
- not all conf included in vhosts or slb_conf
- watchdog still running
- job 28e7241e42904334b failed
- [Service proxy.apply_sudo._wrapped_f]: fail to operator sudo,message: send request fail, status code: 400, error: None, message: illegal param\",\"status\":-2}
- some html not in /opt/huawei/openresty/nginx/html
- cannot access /opt/huawei/openresty/nginx/conf/ssl/sample/resty-auto-ssl-fallback.pem.Permission denined
- fail to operator sudo, message: send request fail, status code: 400, task: control sudo permission, status: failed
- some certificate not in /opt/huawei/openresty/nginx/conf/ssl
- crontab -l \n+ echo 'Permission denied crontab'
- 资源间绑定服务不一致
-
SLB同步异常相关问题
- 运维中心数据库治理
- 运维中心访问凭据管理服务
- 运营中心
- 管理控制台用户指南（即将下线）
- 业务控制台用户指南（即将下线）
-
运行时引擎用户指南（即将下线）
- AppStage运行时引擎简介
- AppStage运行时引擎使用前准备
- 进入AppStage运行时引擎
- 通过微服务平台管理微服务及相关资源
- 配置运行时引擎负载均衡
- 管理Cloud Map中的服务资源
- 配置运行时引擎数据库治理
- 配置访问凭据管理服务
- 文档下载
- 通用参考
链接复制成功！
将已有模型部署为模型服务
模型需要部署成功后才可正式提供模型服务。部署成功后，可以对模型服务进行模型调测，并支持在创建Agent时使用或通过模型调用接口调用。
本文介绍如何将微调后的模型或部分平台资产中心的模型部署为模型服务。
前提条件
- 已购买推理单元资源，具体购买方法请参见购买AI原生应用引擎包年包月资源。
- 由于在线运行需消耗资源，请确保账户有可用资源，且用户费用状态正常。
- 需要具备AI原生应用引擎管理员或开发者权限，权限申请操作请参见AppStage组织成员申请权限。
部署模型服务
- 在AI原生应用引擎的左侧导航栏选择“模型中心 > 我的模型服务”，单击“部署模型服务”。
对资产中心的模型进行部署时，您也可以在左侧导航栏单击“资产中心”，选择“大模型”页签，将鼠标移至目标模型卡片并单击“部署”，进入创建部署服务页面。
- 配置模型信息，参数说明如表1所示。
- 配置部署模型参数，参数说明如表2所示。
表2 微调的模型部署参数说明 参数名称
参数说明
实例个数
设置模型服务部署的实例个数。
不同的模型部署1个实例需要的推理单元个数不同，比如，ChatGLM3-6B需要2个实例。
不同的模型因为模型参数量不同，模型参数量越多，需要消耗的资源越多，因此需要的推理单元个数越多。
推理单元资源
在下拉列表可以查看已购买的推理单元的可用个数，根据实际情况选择。
如果推理单元个数不足以满足实例个数，则需减少实例个数以使推理单元资源满足需求。
在推理单元到期后，部署的模型将被下架，可通过购买推理单元资源恢复。
流控配置
超出流控值，则触发限流，用户的请求会因为流控而失败。
- 无限制
- 10次/秒
- 50次/秒
- 100次/秒
- 200次/秒
- 单击“保存”，开始部署模型服务，在右侧模型效果预览区域，您可以看到模型服务状态为“部署中”。
部署完成后，模型服务状态变为“运行中”，此时才可进行模型调测及模型效果预览。
- （可选）在模型调测区域，参考调测模型进行模型调测。
- （可选）在右侧“模型效果预览”区域，可通过以下两种方式进行模型测试。
- 在对话输入框输入测试语句后按Enter键或单击
进行模型测试。 - 单击“引用已有提示语模板”，弹出“选择模板”面板，可通过分类筛选我创建的、我收藏的或平台预置的提示语模板，然后按Enter键或单击
进行模型测试。
- 在对话输入框输入测试语句后按Enter键或单击
更多操作
部署模型服务完成后，可执行如下表3所示的管理模型服务相关操作。
|
操作 |
说明 |
|---|---|
|
启用模型服务 |
启用后的模型服务才能进行调测以及在创建Agent时调用。
|
|
停用模型服务 |
|
|
修改模型服务 |
运行中的模型服务需要先停用，才能修改。 |
|
删除模型服务 |
状态为“部署中”或“运行中”的模型服务需要先停用，才能删除。
|
|
模型调测 |
只有部署完成的，状态为“运行中”的模型服务才能进行模型调测。
|
父主题： 生成模型服务
