使用ModelArts Studio(MaaS)的DeepSeek-R1模型框架实现对话问答
操作场景
本案例用于指导用户使用MaaS的DeepSeek-R1-64K模型服务,快速实现对话问答。更多MaaS服务的使用指导,请参见用户指南。
计费说明
在调用预置模型推理服务的过程中,输入内容首先会被分词(tokenize),转换为模型可识别的Token。在调用MaaS预置服务时,将根据实际使用的Tokens数量进行计费。详细信息,请参见MaaS模型推理计费项。
约束限制
该功能仅支持“西南-贵阳一”区域。
准备工作
- 已注册华为账号并开通华为云,进行了实名认证,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。具体操作,请参见注册华为账号并开通华为云和实名认证。
- 对于所有用户(包括个人用户),需要完成ModelArts委托授权才能使用MaaS服务,否则会造成您的操作出现不可预期的错误。
- 登录ModelArts管理控制台,按照版本选择以下操作。
- 新版本:在左侧导航栏选择。
- 旧版本:在左侧导航栏选择“全局配置”。
- 单击“添加授权”,参照下表进行配置。关于参数的具体说明,请参见配置ModelArts委托授权以使用ModelArts Studio(MaaS)。
表1 添加授权配置说明 参数
说明
授权对象类型
选择“IAM子用户”,您也可以根据实际情况进行选择。
授权对象
选择指定的IAM子用户,给指定的IAM子用户配置委托授权。
委托选择
选择“新增委托”。
委托名称
ModelArts会自动生成委托名称,您也可以按实际情况进行修改。
权限配置
选择“普通模式”,在“权限模板”下拉框选择“MaaS(ModelArts Studio)”。
图1 普通模式
上述一键式自动授权方式创建的委托的权限比较大,如果需要对用户进行细粒度的权限配置,请创建IAM用户并授权使用ModelArts Studio(MaaS)。
- 登录ModelArts管理控制台,按照版本选择以下操作。
步骤一:开通DeepSeek-R1-64K模型服务
- 在ModelArts Studio(MaaS)控制台左侧导航栏,单击“在线推理”。
- 在“预置服务”页签,默认进入“商用服务”页签,单击DeepSeek-R1-64K模型服务操作列的“开通服务”。
- 在开通预置模型服务对话框,默认已勾选DeepSeek-R1-64K模型服务,确认并勾选“我已阅读并同意上述说明,及《ModelArts Studio 服务声明》”,单击“一键开通”。
当DeepSeek-R1-64K模型服务的付费状态为开通,表示DeepSeek-R1-64K模型服务已开通商用。
步骤二:在线体验DeepSeek-R1-64K模型服务
在DeepSeek-R1-64K服务右侧的“操作”列,单击“调用说明”,选择版本,获取调用实例代码,按照页面提示修改相关参数后进行调用。更多信息,请参见对话Chat/Post。
- 登录ModelArts Studio(MaaS)控制台,在左侧导航栏,单击“API Key管理”。
- 在“API Key管理”页面,单击“创建API Key”,填写标签、描述和权限信息后,单击“确定”。
标签在创建完成后,不支持修改。
图4 创建API Key
表2 创建API Key参数说明 参数
说明
标签
自定义API Key的标签。标签具有唯一性,不可重复。仅支持大小写英文字母、数字、下划线、中划线,长度范围为1~100个字符。
描述
自定义API Key的描述,长度范围为1~100个字符。
权限
支持选择全部或自定义。
- 全部:所有IP可访问。
- 自定义:指定IP可访问。
本案例选择“全部”。
- 在“您的API Key”对话框,复制密钥并保存至安全位置。
- 保存完毕后,单击“我已保存,确认关闭”。
单击“我已保存,确认关闭”后将无法再次查看密钥。
- 下载Postman软件并安装,您也可以直接在Chrome浏览器添加Postman扩展程序(也可使用其他支持发送post请求的软件)。Postman推荐使用7.24.0版本。
- 打开Postman,在Postman界面填写参数。
图5 Postman填写参数
- 选择POST任务,将在线服务的调用地址复制到POST后面的方框。
- Headers页签的Key值填写为“Authorization”,Value值为"Bearer"加空格加API KEY的内容。
- Body页签选择“raw”,选择JSON(application/json)类型,在下方文本框中填写请求体。
请求体样例如下。
{ "model": "DeepSeek-R1", "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "你好"} ] }
- 单击“send”发送请求,结果会在“Response”下的对话框里显示。
图6 请求结果
对于生成的内容,您可以在模型对话框左下方,单击
图标复制回答,也可以单击
图标重新生成回答。
如果您需要开启新对话,可以在页面右上角单击“开启新对话”,在对话框单击“确定”。开启新对话将清除全部对话,无法保留对话记录。
|
参数 |
说明 |
取值样例 |
|---|---|---|
|
温度/Temperature |
设置推理温度,用于控制生成文本的随机性和创造性,Temperature数值越大随机性越大。
取值范围:0~2 默认值:不同模型的默认值不同,请以实际环境为准。 |
0.7 |
|
核采样/top_p |
设置推理核采样,用于调整输出文本的多样性。top_p数值越大,生成文本的多样性就越高。
取值范围:0.1~1 默认值:不同模型的默认值不同,请以实际环境为准。 详细解释:top_p可以设置tokens候选列表的大小,将可能性之和刚好超过设定值P的top tokens列入候选名单,然后从候选名单中随机采样,生成一个token。 |
1 |
|
top_k |
用于控制输出tokens的多样性。top_k值越大输出的tokens类型越丰富。选择在模型的输出结果中选择概率最高的前K个结果。
取值范围:1~1000 默认值:20 详细解释:top_k可以设置保留概率最高的前K个tokens,从中随机抽取一个token作为最终输出。这种方法可以限制输出序列的长度,并仍然保持样本的一定多样性。 |
20 |
(可选)步骤三:部署模型服务并体验
基于模型广场的模型部署为我的服务,可获得独立的、资源专享的推理服务。下文以部署DeepSeek-R1-64K模型为我的服务为例进行说明。
本案例以专属资源池部署模型服务为例,需要提前创建专属资源池,“作业类型”选择“推理服务”。具体操作,请参见创建Standard专属资源池。专属资源池会产生计算资源费用,详细计费说明请参考ModelArts Studio(MaaS)模型推理计费项。
- 登录ModelArts Studio(MaaS)控制台,在左侧导航栏单击“在线推理”。
- 在“在线推理”页面,单击“我的服务”页签,在右上角单击“部署模型服务”。
- 在“部署模型服务”页面,完成创建配置。
表4 部署模型服务 参数
说明
取值样例
服务设置
服务名称
自定义模型服务的名称。
service-1122
描述
自定义部署模型服务的简介。
-
模型设置
部署模型
单击选择模型,在“模型广场”页签选择DeepSeek-R1-64K模型,并按需勾选版本,单击“确定”。
说明:如果您需要自定义模型的相关参数,可以在“我的模型”页面创建模型,然后在“在线推理”页面的“我的模型”页签进行部署。具体操作,请参见在MaaS中创建模型和使用MaaS部署模型服务。
DeepSeek-R1-64K | 20250624
资源设置
资源池类型
选择“专属资源池”,单击“创建专属资源池”进行创建。“作业类型”选择“推理服务”。具体操作,请参见创建Standard专属资源池。
专属资源池
实例规格
选择实例规格,规格中描述了服务器类型、型号等信息。
Ascend: 1*ascend-snt9 (32GB) | ARM: 24 vCPUs 96000MB
流量限制(QPS)
设置待部署模型的流量限制QPS。
1
实例数
设置服务器个数。
1
更多选项
内容审核
打开
事件通知
选择是否打开“事件通知”开关。
- 开关关闭(默认关闭):表示不启用消息通知服务。
- 开关打开:表示订阅消息通知服务,当任务发生特定事件(如任务状态变化或疑似卡死)时会发送通知。此时必须配置“主题名”和“事件”。
- “主题名”:事件通知的主题名称。单击“创建主题”,前往消息通知服务中创建主题。
- “事件”:选择要订阅的事件类型。例如“创建中”、“已完成”、“运行失败”等。
说明:使用消息通知服务会产生相关服务费用,详细信息请参见计费说明。
关闭
自动停止
当使用付费资源时,可以选择是否打开“自动停止”开关。
- 开关关闭(默认关闭):表示任务将一直运行。
- 开关打开:表示启用自动停止功能,此时必须配置自动停止时间,支持设置为“1小时”、“2小时”、“4小时”、“6小时”或“自定义”。启用该参数并设置时间后,运行时长到期后将会自动终止任务,准备排队等状态不扣除运行时长。
关闭
- 参数配置完成后,单击“提交”。
在“我的服务”列表中,当模型部署服务的“状态”变成“运行中”时,表示模型部署完成。
- 在已部署的DeepSeek-R1模型服务右侧,单击或进行在线体验或API调用。更多信息,请参见在ModelArts Studio(MaaS)体验文本对话或调用ModelArts Studio(MaaS)部署的模型服务。
图9 模型调用
后续操作
- 在ModelArts Studio(MaaS)查看在线推理的调用数据和监控指标:MaaS提供调用统计功能,支持查看模型服务在指定时间段内的调用数据和监控指标详情,帮助您了解服务的使用情况和性能变化,从而更有效地进行模型评估、问题定位、故障排除和性能优化。
- 如果不再需要使用此模型服务,建议清除相关资源,避免产生不必要的费用。
在MaaS服务的“在线推理”页面,选择“我的服务”页签,在服务列表选择目标模型服务,单击操作列的“更多 > 删除”,在弹窗中一键输入“DELETE”,单击“确定”,删除服务。