使用ModelArts Studio（MaaS）的Qwen2-7B模型框架实现对话问答

操作场景

本案例用于指导用户使用ModelArts Studio大模型即服务平台（下面简称为MaaS）的Qwen2-7B模型框架，创建并部署一个模型服务，实现对话问答。通过学习本案例，您可以快速了解如何在MaaS服务上创建和部署模型。更多MaaS服务的使用指导请参见用户指南。

操作流程

开始使用如下样例前，请务必按准备工作指导完成必要操作。

1. 步骤一：创建我的模型：使用基础模型创建自定义模型。
2. 步骤二 ：部署模型服务：使用创建成功的自定义模型部署模型服务。
3. 步骤三：在模型体验使用模型服务：在“文本对话”页面，体验部署的模型服务，进行对话问答。

准备工作

• 已注册华为账号并开通华为云，进行了实名认证，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。具体操作，请参见注册华为账号并开通华为云和实名认证。
• 配置委托访问授权
  ModelArts使用过程中涉及到与OBS、SWR等服务交互，首次使用ModelArts需要用户配置委托授权，允许访问这些依赖服务。更多信息，请参见配置ModelArts委托授权以使用ModelArts Studio（MaaS）。

  1. 使用华为云账号登录ModelArts管理控制台，按照版本选择以下操作。
     • 新版本：在左侧导航栏选择“系统管理 > 权限管理”。
     • 旧版本：在左侧导航栏选择“全局配置”。
  2. 单击“添加授权”，配置相关参数。

     下文以IAM子用户为例进行说明，您可以按需修改。

     图1 添加授权示例
     

     表1 参数说明

     参数	说明
     “授权对象类型”	选择“IAM子用户”。
     “授权对象”	选择指定的IAM子用户，给指定的IAM子用户配置委托授权。
     “委托选择”	选择“新增委托”。
     “ 委托名称”	系统自动创建委托名称，用户可以手动修改。
     “权限配置 ”	选择“普通模式”，在“权限模板”下拉框选择“MaaS（ModelArts Studio）”。 图2 普通模式

  3. 勾选“我已经阅读并同意《ModelArts服务声明》”，单击“创建”，即可完成委托配置。

步骤一：创建我的模型

1. 登录ModelArts Studio（MaaS）控制台，在顶部导航栏选择目标区域。
2. 在左侧导航栏，选择“我的模型”。
3. 在“我的模型”页面右上角，单击“创建模型”。
4. 在“创建模型”页面，配置相关参数。

   表2 创建模型

   参数	说明	取值样例
   来源模型	单击“选择基础模型”，在弹窗中选择模型，单击“确定”。	Qwen2-7B
   模型名称	自定义模型名称。	Qwen2-7B
   描述	自定义模型简介。	-
   权重设置与词表	默认选择“自定义权重”。	自定义权重
   自定义权重存储路径	将权重文件存储到OBS桶中，且权重文件必须满足对应模型的文件格式要求。 权重文件指的是模型的参数集合。OBS桶必须和MaaS服务在同一个Region下。 关于如何获取权重文件，请参见Hugging Face官网。 说明： 如果Hugging Face网站打不开，请在互联网上搜索解决方案。 关于权重文件的格式要求，请参见约束限制。 关于如何将权重文件存储到OBS桶，请参见上传概述。 单击“自定义权重存储路径”右侧的文件图标，选择存放模型权重文件的OBS路径（必须选择到模型文件夹），然后单击“确定”。 单次上传本地文件到OBS的总大小不能超过5GB，详情请参见如何上传超过5GB的大对象。	/3003****/79abed0d-2622-4cd0-80fc-2065ebe****/

5. 参数配置完成后，单击“创建”，创建自定义模型。
6. 在模型列表，单击模型名称可以进入详情页查看模型详细信息和任务。
   当模型“状态”变成“创建成功”时，表示模型创建完成。

   图3 查看我的模型状态
   

步骤二 ：部署模型服务

1. 模型创建成功后，在“我的模型”页面，单击目标模型右侧操作列的“部署”。
2. 在“部署模型服务”页面，完成创建配置。

   表3 部署模型服务

   参数		说明	取值样例
   服务设置	服务名称	自定义模型服务的名称。	service-1122
   	描述	自定义部署模型服务的简介。	-
   模型设置	部署模型	当从“我的模型”进入部署模型服务页面时，此处默认呈现选择的模型。	Qwen2-7B
   资源设置	资源池类型	资源池分为公共资源池与专属资源池。本示例选择“专属资源池”，单击“创建专属资源池”进行创建。创建时，“作业类型”选择“推理服务”。具体操作，请参见创建Standard专属资源池。 公共资源池：由所有租户共享使用。 说明： 公共资源池暂未完全公开，如需申请使用，请联系与您对接的销售人员或拨打4000-955-988获得支持，您也可以在线提交售前咨询。 专属资源池：需单独创建，不与其他租户共享。	专属资源池
   	实例规格	选择实例规格，规格中描述了服务器类型、型号等信息。	Ascend: 1*ascend-snt9 (32GB) | ARM: 24 vCPUs 96000MB
   	流量限制（QPS）	设置待部署模型的流量限制QPS。	3
   	实例数	设置服务器个数。	1
   更多选项	内容审核	选择是否打开内容审核，默认启用。 开关打开（默认打开），内容审核可以阻止在线推理中的输入输出中出现不合规的内容，但可能会对接口性能产生较大影响。 开关关闭，停用内容审核服务，将不会审核在线推理中的输入输出，模型服务可能会有违规风险，请谨慎关闭。 关闭“内容审核”开关，需要在弹窗中确认是否停用内容审核服务，勾选后，单击“确定”关闭。	打开
   	事件通知	选择是否打开“事件通知”开关。 开关关闭（默认关闭）：表示不启用消息通知服务。 开关打开：表示订阅消息通知服务，当任务发生特定事件（如任务状态变化或疑似卡死）时会发送通知。此时必须配置“主题名”和“事件”。 “主题名”：事件通知的主题名称。单击“创建主题”，前往消息通知服务中创建主题。 “事件”：选择要订阅的事件类型。例如“创建中”、“已完成”、“运行失败”等。 说明： 使用消息通知服务会产生相关服务费用，详细信息请参见计费说明。	关闭
   	自动停止	当使用付费资源时，可以选择是否打开“自动停止”开关。 开关关闭（默认关闭）：表示任务将一直运行。 开关打开：表示启用自动停止功能，此时必须配置自动停止时间，支持设置为“1小时”、“2小时”、“4小时”、6小时或“自定义”。启用该参数并设置时间后，运行时长到期后将会自动终止任务，准备排队等状态不扣除运行时长。	关闭

3. 参数配置完成后，单击“提交”。

   在“我的服务”列表中，当模型部署服务的“状态”变成“运行中”时，表示模型部署完成。

步骤三：在模型体验使用模型服务

1. 在ModelArts Studio（MaaS）控制台左侧导航栏中，选择“在线推理”。
2. 在“在线推理”页面，单击“我的服务”页签，在目标模型服务右侧，单击操作列“更多 > 在线体验”，进入“文本对话”页面。
3. 在“文本对话”页面右上角，单击“参数设置”，按需拖动或直接输入数值配置推理参数。单击“恢复默认”可以将参数值调回默认值。
   图4 设置推理参数
   

   表4 参数设置

   参数	说明	取值样例
   温度/Temperature	设置推理温度，用于控制生成文本的随机性和创造性，Temperature数值越大随机性越大。 数值较低，输出结果更加集中和确定。 数值较高，输出结果更加随机，更有创意性。 取值范围：0~2 默认值：不同模型的默认值不同，请以实际环境为准。	0.7
   核采样/top_p	设置推理核采样，用于调整输出文本的多样性。top_p数值越大，生成文本的多样性就越高。 数值较低，输出可选的tokens类型越少，更有确定性。 数值较高，输出可选的tokens类型越多，更有多样性。 取值范围：0.1~1 默认值：不同模型的默认值不同，请以实际环境为准。 详细解释：top_p可以设置tokens候选列表的大小，将可能性之和刚好超过设定值P的top tokens列入候选名单，然后从候选名单中随机采样，生成一个token。	1
   top_k	用于控制输出tokens的多样性。top_k值越大输出的tokens类型越丰富。选择在模型的输出结果中选择概率最高的前K个结果。 数值较低，输出可选的tokens类型越少，更有确定性。 数值较高，输出可选的tokens类型越多，更有多样性。 取值范围：1~1000 默认值：20 详细解释：top_k可以设置保留概率最高的前K个tokens，从中随机抽取一个token作为最终输出。这种方法可以限制输出序列的长度，并仍然保持样本的一定多样性。	20

4. 在对话框中输入问题，查看返回结果，在线体验对话问答。
   图5 体验模型服务
   

后续操作