使用ModelArts Studio(MaaS)的Qwen2-7B模型框架实现对话问答
操作场景
本案例用于指导用户使用ModelArts Studio大模型即服务平台(下面简称为MaaS)的Qwen2-7B模型框架,创建并部署一个模型服务,实现对话问答。通过学习本案例,您可以快速了解如何在MaaS服务上创建和部署模型。更多MaaS服务的使用指导请参见用户指南。
操作流程
开始使用如下样例前,请务必按准备工作指导完成必要操作。
- 步骤一:创建我的模型:使用基础模型创建自定义模型。
- 步骤二 :部署模型服务:使用创建成功的自定义模型部署模型服务。
- 步骤三:在模型体验使用模型服务:在“文本对话”页面,体验部署的模型服务,进行对话问答。
准备工作
- 已注册华为账号并开通华为云,进行了实名认证,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。具体操作,请参见注册华为账号并开通华为云和实名认证。
- 配置委托访问授权
ModelArts使用过程中涉及到与OBS、SWR等服务交互,首次使用ModelArts需要用户配置委托授权,允许访问这些依赖服务。
- 使用华为云账号登录ModelArts管理控制台,按照版本选择以下操作。
- 新版本:在左侧导航栏选择 。
- 旧版本:在左侧导航栏选择“全局配置”。
- 单击“添加授权”,配置相关参数。
图1 添加授权示例
表1 参数说明 参数
说明
“授权对象类型”
选择“IAM子用户”。
“授权对象”
选择指定的IAM子用户,给指定的IAM子用户配置委托授权。
“委托选择”
选择“新增委托”。
“ 委托名称”
系统自动创建委托名称,用户可以手动修改。
“权限配置 ”
选择“普通模式”,在“权限模板”下拉框选择“MaaS(ModelArts Studio)”。
- 勾选“我已经阅读并同意《ModelArts服务声明》”,单击“创建”,即可完成委托配置。
- 使用华为云账号登录ModelArts管理控制台,按照版本选择以下操作。
步骤一:创建我的模型
- 登录ModelArts Studio(MaaS)控制台,在顶部导航栏选择目标区域。
- 在左侧导航栏,选择“我的模型”。
- 在“我的模型”页面右上角,单击“创建模型”。
- 在“创建模型”页面,配置相关参数。
表2 创建模型 参数
说明
取值样例
来源模型
单击“选择基础模型”,在弹窗中选择模型,单击“确定”。
Qwen2-7B
模型名称
自定义模型名称。
Qwen2-7B
描述
自定义模型简介。
-
权重设置与词表
默认选择“自定义权重”。
自定义权重
自定义权重存储路径
- 将权重文件存储到OBS桶中,且权重文件必须满足对应模型的文件格式要求。
权重文件指的是模型的参数集合。OBS桶必须和MaaS服务在同一个Region下。
- 关于如何获取权重文件,请参见Hugging Face官网。
说明:
如果Hugging Face网站打不开,请在互联网上搜索解决方案。
- 关于权重文件的格式要求,请参见约束限制。
- 关于如何将权重文件存储到OBS桶,请参见上传概述。
- 关于如何获取权重文件,请参见Hugging Face官网。
- 单击“自定义权重存储路径”右侧的文件图标,选择存放模型权重文件的OBS路径(必须选择到模型文件夹),然后单击“确定”。
单次上传本地文件到OBS的总大小不能超过5GB,详情请参见如何上传超过5GB的大对象。
/3003****/79abed0d-2622-4cd0-80fc-2065ebe****/
- 将权重文件存储到OBS桶中,且权重文件必须满足对应模型的文件格式要求。
- 参数配置完成后,单击“创建”,创建自定义模型。
- 在模型列表,单击模型名称可以进入详情页查看模型详细信息和任务。
步骤二 :部署模型服务
- 模型创建成功后,在“我的模型”页面,单击目标模型右侧操作列的“部署”。
- 在“部署模型服务”页面,完成创建配置。
表3 部署模型服务 参数
说明
取值样例
服务设置
服务名称
自定义模型服务的名称。
service-1122
描述
自定义部署模型服务的简介。
-
模型设置
部署模型
当从“我的模型”进入部署模型服务页面时,此处默认呈现选择的模型。
Qwen2-7B
资源设置
资源池类型
资源池分为公共资源池与专属资源池。
- 公共资源池由所有租户共享使用。
- 专属资源池需单独创建,不与其他租户共享。
公共资源池
实例规格
选择实例规格,规格中描述了服务器类型、型号等信息。
说明:公共资源池暂未完全公开,如需申请使用,请联系与您对接的销售人员或拨打4000-955-988获得支持,您也可以在线提交售前咨询。
Ascend: 1*ascend-snt9b2 | ARM: 24 vCPUs 96000MB
流量限制(QPS)
设置待部署模型的流量限制QPS。
3
实例数
设置服务器个数。
1
更多选项
内容审核
打开
事件通知
选择是否打开“事件通知”开关。
- 开关关闭(默认关闭):表示不启用消息通知服务。
- 开关打开:表示订阅消息通知服务,当任务发生特定事件(如任务状态变化或疑似卡死)时会发送通知。此时必须配置“主题名”和“事件”。
- “主题名”:事件通知的主题名称。单击“创建主题”,前往消息通知服务中创建主题。
- “事件”:选择要订阅的事件类型。例如“创建中”、“已完成”、“运行失败”等。
关闭
自动停止
当使用付费资源时,可以选择是否打开“自动停止”开关。
- 开关关闭(默认关闭):表示任务将一直运行。
- 开关打开:表示启用自动停止功能,此时必须配置自动停止时间,支持设置为“1小时”、“2小时”、“4小时”、6小时或“自定义”。启用该参数并设置时间后,运行时长到期后将会自动终止任务,准备排队等状态不扣除运行时长。
关闭
- 参数配置完成后,单击“提交”。
“资源池类型”选择“公共资源池”时,会出现“计费提醒”对话框,请您仔细阅读预估费用信息,然后单击“确定”,创建部署任务。模型部署会基于资源占用时长进行计费。服务状态为运行中时会产生费用,最终实际费用以账单为准。
在“我的服务”列表中,当模型部署服务的“状态”变成“运行中”时,表示模型部署完成。
步骤三:在模型体验使用模型服务
- 在ModelArts Studio(MaaS)控制台左侧导航栏中,选择“在线推理”。
- 在“在线推理”页面,单击“我的服务”页签,在目标模型服务右侧,单击操作列“更多 > 在线体验”,进入“文本对话”页面。
- 在“文本对话”页面右上角,单击“参数设置”,按需拖动或直接输入数值配置推理参数。单击“恢复默认”可以将参数值调回默认值。
图3 设置推理参数
表4 参数设置 参数
说明
取值样例
温度/Temperature
设置推理温度。
- 数值较高,输出结果更加随机。
- 数值较低,输出结果更加集中和确定。
0.7
核采样/top_p
设置推理核采样。调整输出文本的多样性,数值越大,生成文本的多样性就越高。
1
top_k
选择在模型的输出结果中选择概率最高的前K个结果。
20
- 在对话框中输入问题,查看返回结果,在线体验对话问答。
图4 体验模型服务
后续操作
- 在ModelArts Studio(MaaS)控制台的“在线推理”页面,选择“我的服务”页签,在需要删除的服务右侧,单击操作列的“更多 > 删除”,在弹窗中输入“DELETE”,单击“确定”,删除服务。
- 在ModelArts Studio(MaaS)控制台的“我的模型”页面,在“Qwen2-7B”模型右侧,单击操作列的“更多 > 删除”,在弹窗中输入“DELETE”,单击“确定”,删除模型。
- 进入OBS管理控制台,删除本示例使用的OBS桶及文件夹。