使用ModelArts Studio(MaaS)的DeepSeek-R1模型框架实现对话问答
操作场景
本案例用于指导用户使用ModelArts Studio大模型即服务平台(下面简称为MaaS)的DeepSeek-R1模型框架,快速实现对话问答。更多MaaS服务的使用指导,请参见用户指南。
前提条件
已注册华为账号并开通华为云,进行了实名认证,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。具体操作,请参见注册华为账号并开通华为云和实名认证。
步骤一:配置委托访问授权
ModelArts使用过程中涉及到与OBS、SWR等服务交互,首次使用ModelArts需要用户配置委托授权,允许访问这些依赖服务。
- 登录ModelArts Studio(MaaS)控制台,在弹出的免责声明对话框,勾选“我已阅读并同意《ModelArts Studio免责声明》”,然后单击“确定”。
- 在弹出的“服务授权提醒”对话框,单击“此处”跳转至“添加授权”页面,配置相关信息,勾选“我已经详细阅读并同意《ModelArts服务声明》”,然后单击“创建”。
表1 添加授权配置说明 参数
说明
授权对象类型
选择“IAM子用户”,您也可以根据实际情况进行选择。
授权对象
选择指定的IAM子用户,给指定的IAM子用户配置委托授权。
委托选择
选择“新增委托”。
委托名称
ModelArts会自动生成委托名称,您也可以按实际情况进行修改。
权限配置
选择“普通模式”,在“权限模板”下拉框选择“MaaS(ModelArts Studio)”。
步骤二:免费体验DeepSeek-R1模型服务
- 在ModelArts Studio(MaaS)控制台左侧导航栏,单击“在线推理”。
- 在“预置服务”页签,单击“免费服务”页签,使用免费的DeepSeek-R1模型服务进行API调用或在线体验。
- API调用:在DeepSeek-R1服务右侧的“操作”列,单击“调用说明”,获取调用实例代码,按照页面提示修改相关参数后进行调用。具体操作,请参见调用MaaS部署的模型服务。
- 在线体验:在DeepSeek-R1服务右侧的“操作”列,单击“在线体验”,跳转到“文本对话”页面,即可开始问答体验。更多信息,请参见免费体验MaaS预置服务。
步骤三:部署模型服务
如果免费Token额度用完或者免费服务失效后,还要继续使用该模型,可以付费部署为我的服务使用或者在MaaS预置服务中开通商用服务。下文以部署为我的服务为例进行说明。
- 登录ModelArts Studio(MaaS)控制台,在左侧导航栏单击“在线推理”。
- 在“在线推理”页面,单击“我的服务”页签,在右上角单击“部署模型服务”。
- 在“部署模型服务”页面,完成创建配置。
表2 部署模型服务 参数
说明
取值样例
服务设置
服务名称
自定义模型服务的名称。
service-1122
描述
自定义部署模型服务的简介。
-
模型设置
部署模型
单击选择模型,在“模型广场”页签选择DeepSeek-R1模型,单击“确定”。
说明:如果您需要自定义模型的相关参数,可以在“我的模型”页面创建模型,然后在“在线推理”页面的“我的模型”页签进行部署。具体操作,请参见在MaaS中创建模型和使用MaaS部署模型服务。
DeepSeek-R1
资源设置
资源池类型
资源池分为公共资源池与专属资源池。
- 公共资源池由所有租户共享使用。
- 专属资源池需单独创建,不与其他租户共享。
如果不支持公共资源池,“公共资源池”按钮会置灰,鼠标悬停时,会提示:该模型版本暂不支持公共资源池部署;如果专属资源池不匹配,勾选按钮会置灰,鼠标悬停时,会出现相关提示,请按照提示进行相关操作。
公共资源池
实例规格
选择实例规格,规格中描述了服务器类型、型号等信息。
Ascend: 1*ascend-snt9b2 | ARM: 24 vCPUs 96000MB
流量限制(QPS)
设置待部署模型的流量限制QPS。
1
实例数
设置服务器个数。
1
更多选项
内容审核
打开
事件通知
选择是否打开“事件通知”开关。
- 开关关闭(默认关闭):表示不启用消息通知服务。
- 开关打开:表示订阅消息通知服务,当任务发生特定事件(如任务状态变化或疑似卡死)时会发送通知。此时必须配置“主题名”和“事件”。
- “主题名”:事件通知的主题名称。单击“创建主题”,前往消息通知服务中创建主题。
- “事件”:选择要订阅的事件类型。例如“创建中”、“已完成”、“运行失败”等。
关闭
自动停止
当使用付费资源时,可以选择是否打开“自动停止”开关。
- 开关关闭(默认关闭):表示任务将一直运行。
- 开关打开:表示启用自动停止功能,此时必须配置自动停止时间,支持设置为“1小时”、“2小时”、“4小时”、6小时或“自定义”。启用该参数并设置时间后,运行时长到期后将会自动终止任务,准备排队等状态不扣除运行时长。
关闭
- 参数配置完成后,单击“提交”。
“资源池类型”选择“公共资源池”时,会出现“计费提醒”对话框,请您仔细阅读预估费用信息,然后单击“确定”,创建部署任务。模型部署会基于资源占用时长进行计费。服务状态为运行中时会产生费用,最终实际费用以账单为准。
在“我的服务”列表中,当模型部署服务的“状态”变成“运行中”时,表示模型部署完成。
步骤四:在模型体验使用模型服务
- 在ModelArts Studio(MaaS)控制台左侧导航栏中,选择“在线推理”进入服务列表。
- 在“在线推理”页面,单击“我的服务”页签,然后在服务列表选择目标模型服务,单击操作列“更多 > 在线体验”。
- 在“文本对话”页面右上角,单击“参数设置”,拖动或直接输入数值配置推理参数。
您也可以单击“恢复默认”,将参数值调回默认值。
图1 设置推理参数表3 参数设置 参数
说明
取值样例
温度/Temperature
设置推理温度。
- 数值较高,输出结果更加随机。
- 数值较低,输出结果更加集中和确定。
0.7
核采样/top_p
设置推理核采样。调整输出文本的多样性,数值越大,生成文本的多样性就越高。
1
top_k
选择在模型的输出结果中选择概率最高的前K个结果。
20
- 在对话框中输入问题,查看返回结果,在线体验对话问答。
后续操作
- 在MaaS服务的“在线推理”页面,选择“我的服务”页签,在服务列表选择目标模型服务,单击操作列的“更多 > 删除”,在弹窗中输入“DELETE”,单击“确定”,删除服务。
- 在MaaS服务的“我的模型”页面,单击目标模型对应的“操作”列的“更多 > 删除”,在弹窗中输入“DELETE”,单击“确定”,删除模型。
- 进入OBS管理控制台,删除本示例使用的OBS桶及文件夹。