分离部署 PD分离部署使用说明 父主题： 推理关键特性使用

查看更多 →

分离部署 PD分离部署使用说明 PD分离部署性能调优理论基础 PD分离部署手动配比调优（推荐） PD分离部署自动配比调优 PD分离性能调优工具使用说明 父主题： 推理关键特性使用

查看更多 →

头。 更新后端API时，status=4为后端API的已部署状态，该状态下后端API请求路径不能修改。 最小长度：2 最大长度：256 method String 后端API请求方法。 支持GET、PUT、POST、DELETE 更新后端API时，status=4为后端API的已

查看更多 →

每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。

查看更多 →

每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。

查看更多 →

String 部署的编号 ld_api_id String 部署的后端API编号 group_id String 部署的前端API分组编号 env_id String 部署的环境编号 api_id String 部署的前端API编号 deploy_time String 部署时间 api_definition

查看更多 →

每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。

查看更多 →

每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。

查看更多 →

每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。

查看更多 →

每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。

查看更多 →

每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。

查看更多 →

每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。

查看更多 →

部署前准备 租户帐号已经创建完成，可以由MSP管理员创建，或者在华为公有云上自注册。 已经使用租户帐号登录到云管理平台。 租户自建自维时，租户需要向MSP购买License激活码。 设备软件版本已升级到智简园区网络解决方案配套的版本。 已获取到租户网络室内现场环境的地图（jpg、

查看更多 →

部署前准备 租户帐号已经创建完成，可以由MSP管理员创建，或者在华为公有云上自注册。 已经使用租户帐号登录到云管理平台。 租户自建自维时，租户需要向MSP购买License激活码，在后续建网过程中使用。 设备软件版本已升级到智简园区网络解决方案配套的版本。 已获取到租户网络室内现

查看更多 →

部署前准备 租户帐号已经创建完成，可以由MSP管理员创建，或者在华为公有云上自注册”。 已经使用租户帐号登录到云管理平台。 租户自建自维时，租户需要向MSP购买License激活码，在后续建网过程中使用。 设备软件版本已升级到智简园区网络解决方案配套的版本。 已获取到租户网络室内

查看更多 →

部署前准备 创建环境 登录CAE控制台。 选择以下任意方式创建环境。 在您首次使用本服务时，页面会提醒您尚未创建环境。 单击创建环境卡片中的“立即创建”。 图1 创建环境 在弹出的对话框中输入对应的参数，具体参照表1。 表1 创建环境 参数 说明 环境名称 输入自定义的环境名称。

查看更多 →

面弹出证书部署详细页面，如图1所示。 图1 部署证书 在部署证书页面的“部署详情”下，选择“CDN”页签。 图2 选择CDN 选择当前证书中需要部署的 域名 ，并单击“操作”列的“部署”或“重新部署”。 如需部署 多个域名 ，则从域名列表中勾选所有待部署的域名，并单击列表左上角的“批量更新”。

查看更多 →

部署前准备 租户帐号已经创建完成，可以由MSP管理员创建，或者在华为公有云上自注册”。 已经使用租户帐号登录到云管理平台。 租户自建自维时，租户需要向MSP购买License激活码，在后续建网过程中使用。 设备软件版本已升级到智简园区网络解决方案配套的版本。 已获取到租户网络室内

查看更多 →

部署前准备 租户帐号已经创建完成，可以由MSP管理员创建，或者在华为公有云上自注册。 已经使用租户帐号登录到云管理平台。 租户自建自维时，租户需要向MSP购买License激活码，在后续建网过程中使用。 设备软件版本已升级到智简园区网络解决方案配套的版本。 已获取到租户网络室内现

查看更多 →

部署前准备 租户帐号已经创建完成，可以由MSP管理员创建，或者在华为公有云上自注册。 已经使用租户帐号登录到云管理平台。 租户自建自维时，租户需要向MSP购买License激活码，在后续建网过程中使用。 设备软件版本已升级到智简园区网络解决方案配套的版本。 已获取到租户网络室内现

查看更多 →

PD分离部署使用说明 什么是PD分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。 Decode阶段（增量推理） 将请求的前1个tok

查看更多 →