径。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参数为Notebook中权重路径

查看更多 →

本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，运行静态benchmark验证。 cd

查看更多 →

目前性能测试还不支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step4 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，切换一个conda环境。

查看更多 →

shell cd /home_host/work benchmark --modelFile=diffusers/scripts/mindir_models/text_encoder.mindir --device=Ascend 上述命令中：modelFile指定生成的mindir模型

查看更多 →

FunctionGraph，对象存储服务 OBS等资源发放，帮助用户轻松搭建电池、电机、电控数据分析预测解决方案。 约束与限制 部署该解决方案之前，您需要 注册华为账号 并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态，请根据资源和成本规划中预估价格，确保余额充足。 卸载解决方

查看更多 →

FunctionGraph，对象存储服务 OBS等资源发放，帮助用户轻松搭建汽车价值评估解决方案。 约束与限制 部署该解决方案之前，您需要注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态，请根据资源和成本规划中预估价格，确保余额充足。 卸载解决方案前，请先确保OBS桶中无数据，否则解决方案将卸载失败。

查看更多 →

署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为服务启动脚本run_vllm.sh中的${model_path}。

查看更多 →

署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为服务启动脚本run_vllm.sh中的${model_path}。

查看更多 →

重路径。若服务部署在Notebook中，该参数为Notebook中权重路径；若服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。若服务部署在Notebook中，该参数为Notebook中权重路径；

查看更多 →

本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤三：上传代码包和权重文件中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，运行静态benchmark验证。 cd

查看更多 →

署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为服务启动脚本run_vllm.sh中的${model_path}。

查看更多 →

估推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation（6.3.905版本）目录中。 代码目录如下: benchmark_tools ├──

查看更多 →

项目ID，用于资源隔离。请参见获取项目ID。 qabot_id 是 String 机器人标识符，qabot编号，UUID格式。如：303a0a00-c88a-43e3-aa2f-d5b8b9832b02。 获取方法： 登录对话机器人服务控制台，在智能问答机器人列表中查看qabot_id。 请求参数 表2 请求Header参数

查看更多 →

# 第三方依赖 目前性能测试还不支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。

查看更多 →

脚本运行完后，测试结果保存在benchmark_serving.csv中，示例如下图所示。 图2 动态benchmark测试结果（示意图） 投机推理benchmark验证 本章节介绍如何进行投机推理benchmark验证。 已经上传投机推理benchmark验证脚本到推理容器中。如果在Step4

查看更多 →

机器翻译服务接口说明 文本翻译 语种识别 文档翻译任务创建 文档翻译状态查询 父主题： API

查看更多 →

添加流程变量界面 图2 流程编排示例 保存并发布流程。 选择“智能机器人”，将流程绑定机器人。 选择“智能机器人”，在对应机器人的最后一列单击“呼叫测试”，在弹出的测试对话窗口中单击“开始呼叫”，测试机器人。机器人自动回答流程编排中的变量值表示配置成功。 父主题： 图元

查看更多 →

String 接入标识（机器人接入码） type True String 查询类型 hour: 按小时查询 day: 按天查询 consultCount True int 机器人总的回复数 responseSuccessCount True int 机器人总的成功回复数 unknowCount

查看更多 →

问答机器人进行规格变更，是否会影响业务 技能管理中有多个技能，如何匹配技能 如何给子账户添加CBS系统角色 智能问答答案中如何设置视频？ 创建了问答机器人，如何问答体验？ 如何体验智能问答机器人？

查看更多 →

模型的开发训练，是基于之前的已有数据（有可能是测试数据），而在得到一个满意的模型之后，需要将其应用到正式的实际数据或新产生数据中，进行预测、评价、或以可视化和报表的形式把数据中的高价值信息以精辟易懂的形式提供给决策人员，帮助其制定更加正确的商业策略。 父主题： AI开发基础知识

查看更多 →

本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，运行静态benchmark验证。 cd

查看更多 →