使用ModelArts Studio(MaaS)的DeepSeek-R1模型框架实现对话问答
操作场景
当前DeepSeek-R1-32K免费模型已下线。请选用其他模型进行文本对话。
本案例用于指导用户使用ModelArts Studio大模型即服务平台(下面简称为MaaS)的DeepSeek-R1模型框架,快速实现对话问答。更多MaaS服务的使用指导,请参见用户指南。
前提条件
已注册华为账号并开通华为云,进行了实名认证,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。具体操作,请参见注册华为账号并开通华为云和实名认证。
约束限制
该功能仅支持“西南-贵阳一”区域。
步骤一:配置委托访问授权
ModelArts使用过程中涉及到与OBS、SWR等服务交互,首次使用ModelArts需要用户配置委托授权,允许访问这些依赖服务。更多信息,请参见配置ModelArts委托授权以使用ModelArts Studio(MaaS)。
- 登录ModelArts Studio(MaaS)控制台,在弹出的免责声明对话框,勾选“我已阅读并同意《ModelArts Studio免责声明》”,然后单击“确定”。
- 在弹出的“服务授权提醒”对话框,单击“此处”跳转至“添加授权”页面,配置相关信息,勾选“我已经详细阅读并同意《ModelArts服务声明》”,然后单击“创建”。
表1 添加授权配置说明 参数
说明
授权对象类型
选择“IAM子用户”,您也可以根据实际情况进行选择。
授权对象
选择指定的IAM子用户,给指定的IAM子用户配置委托授权。
委托选择
选择“新增委托”。
委托名称
ModelArts会自动生成委托名称,您也可以按实际情况进行修改。
权限配置
选择“普通模式”,在“权限模板”下拉框选择“MaaS(ModelArts Studio)”。
图1 普通模式
步骤二:免费体验DeepSeek-R1模型服务
- 在ModelArts Studio(MaaS)控制台左侧导航栏,单击“在线推理”。
- 在“预置服务”页签,单击“免费服务”页签,使用免费的DeepSeek-R1模型服务进行API调用或在线体验。
图2 免费服务
- API调用:在DeepSeek-R1服务右侧的“操作”列,单击“调用说明”,获取调用实例代码,按照页面提示修改相关参数后进行调用。具体操作,请参见对话Chat/Post。
图3 调用说明
- 在线体验:在DeepSeek-R1服务右侧的“操作”列,单击“在线体验”,跳转到“文本对话”页面,即可开始问答体验。更多信息,请参见免费体验MaaS预置服务。
图4 文本对话
对于生成的内容,您可以在模型对话框左下方,单击
图标复制回答,也可以单击
图标重新生成回答。如果您需要开启新对话,可以在页面右上角单击“开启新对话”,在对话框单击“确定”。开启新对话将清除全部对话,无法保留对话记录。
您还可以在页面左上方,单击“模型参数”,按需拖动或直接输入数值配置推理参数,获得更好的推理效果。单击“恢复默认”可以将参数值调回默认值。图5 设置推理参数
表2 参数设置 参数
说明
取值样例
温度/Temperature
设置推理温度,用于控制生成文本的随机性和创造性,Temperature数值越大随机性越大。
- 数值较低,输出结果更加集中和确定。
- 数值较高,输出结果更加随机,更有创意性。
取值范围:0~2
默认值:不同模型的默认值不同,请以实际环境为准。
0.7
核采样/top_p
设置推理核采样,用于调整输出文本的多样性。top_p数值越大,生成文本的多样性就越高。
- 数值较低,输出可选的tokens类型越少,更有确定性。
- 数值较高,输出可选的tokens类型越多,更有多样性。
取值范围:0.1~1
默认值:不同模型的默认值不同,请以实际环境为准。
详细解释:top_p可以设置tokens候选列表的大小,将可能性之和刚好超过设定值P的top tokens列入候选名单,然后从候选名单中随机采样,生成一个token。
1
top_k
用于控制输出tokens的多样性。top_k值越大输出的tokens类型越丰富。选择在模型的输出结果中选择概率最高的前K个结果。
- 数值较低,输出可选的tokens类型越少,更有确定性。
- 数值较高,输出可选的tokens类型越多,更有多样性。
取值范围:1~1000
默认值:20
详细解释:top_k可以设置保留概率最高的前K个tokens,从中随机抽取一个token作为最终输出。这种方法可以限制输出序列的长度,并仍然保持样本的一定多样性。
20
- API调用:在DeepSeek-R1服务右侧的“操作”列,单击“调用说明”,获取调用实例代码,按照页面提示修改相关参数后进行调用。具体操作,请参见对话Chat/Post。
(可选)步骤三:部署模型服务并体验
如果免费Token额度用完或者免费服务失效后,还要继续使用该模型,可以付费部署为我的服务使用或者在MaaS预置服务中开通商用服务。下文以部署为我的服务为例进行说明。
关于如何开通商用服务,请参见在ModelArts Studio(MaaS)预置服务中开通商用服务。
- 登录ModelArts Studio(MaaS)控制台,在左侧导航栏单击“在线推理”。
- 在“在线推理”页面,单击“我的服务”页签,在右上角单击“部署模型服务”。
- 在“部署模型服务”页面,完成创建配置。
表3 部署模型服务 参数
说明
取值样例
服务设置
服务名称
自定义模型服务的名称。
service-1122
描述
自定义部署模型服务的简介。
-
模型设置
部署模型
单击选择模型,在“模型广场”页签选择DeepSeek-R1模型,单击“确定”。
说明:如果您需要自定义模型的相关参数,可以在“我的模型”页面创建模型,然后在“在线推理”页面的“我的模型”页签进行部署。具体操作,请参见在MaaS中创建模型和使用MaaS部署模型服务。
DeepSeek-R1
资源设置
资源池类型
资源池分为公共资源池与专属资源池。本示例选择“专属资源池”,单击“创建专属资源池”进行创建。创建时,“作业类型”选择“推理服务”。具体操作,请参见创建Standard专属资源池。
- 公共资源池:由所有租户共享使用。
说明:
公共资源池暂未完全公开,如需申请使用,请联系与您对接的销售人员或拨打4000-955-988获得支持,您也可以在线提交售前咨询。
- 专属资源池:需单独创建,不与其他租户共享。
专属资源池
实例规格
选择实例规格,规格中描述了服务器类型、型号等信息。
Ascend: 1*ascend-snt9 (32GB) | ARM: 24 vCPUs 96000MB
流量限制(QPS)
设置待部署模型的流量限制QPS。
1
实例数
设置服务器个数。
1
更多选项
内容审核
打开
事件通知
选择是否打开“事件通知”开关。
- 开关关闭(默认关闭):表示不启用消息通知服务。
- 开关打开:表示订阅消息通知服务,当任务发生特定事件(如任务状态变化或疑似卡死)时会发送通知。此时必须配置“主题名”和“事件”。
- “主题名”:事件通知的主题名称。单击“创建主题”,前往消息通知服务中创建主题。
- “事件”:选择要订阅的事件类型。例如“创建中”、“已完成”、“运行失败”等。
说明:使用消息通知服务会产生相关服务费用,详细信息请参见计费说明。
关闭
自动停止
当使用付费资源时,可以选择是否打开“自动停止”开关。
- 开关关闭(默认关闭):表示任务将一直运行。
- 开关打开:表示启用自动停止功能,此时必须配置自动停止时间,支持设置为“1小时”、“2小时”、“4小时”、“6小时”或“自定义”。启用该参数并设置时间后,运行时长到期后将会自动终止任务,准备排队等状态不扣除运行时长。
关闭
- 公共资源池:由所有租户共享使用。
- 参数配置完成后,单击“提交”。
在“我的服务”列表中,当模型部署服务的“状态”变成“运行中”时,表示模型部署完成。
- 在已部署的DeepSeek-R1模型服务右侧,单击或进行在线体验或API调用。更多信息,请参见在ModelArts Studio(MaaS)体验文本对话或调用ModelArts Studio(MaaS)部署的模型服务。
图6 模型调用
后续操作
- 在MaaS服务的“在线推理”页面,选择“我的服务”页签,在服务列表选择目标模型服务,单击操作列的“更多 > 删除”,在弹窗中输入“DELETE”,单击“确定”,删除服务。
- 在MaaS服务的“我的模型”页面,单击目标模型对应的“操作”列的“更多 > 删除”,在弹窗中输入“DELETE”,单击“确定”,删除模型。
- 进入OBS管理控制台,删除本示例使用的OBS桶及文件夹。