文档首页/ AI开发平台ModelArts/ 快速入门/ 使用ModelArts Studio(MaaS)的Qwen2-7B模型框架实现对话问答
更新时间:2025-09-11 GMT+08:00
分享

使用ModelArts Studio(MaaS)的Qwen2-7B模型框架实现对话问答

操作场景

本案例用于指导用户使用ModelArts Studio大模型即服务平台(下面简称为MaaS)的Qwen2-7B模型框架,创建并部署一个模型服务,实现对话问答。通过学习本案例,您可以快速了解如何在MaaS服务上创建和部署模型。更多MaaS服务的使用指导请参见用户指南

操作流程

开始使用如下样例前,请务必按准备工作指导完成必要操作。

  1. 步骤一:创建我的模型:使用基础模型创建自定义模型。
  2. 步骤二 :部署模型服务:使用创建成功的自定义模型部署模型服务。
  3. 步骤三:在模型体验使用模型服务:在“文本对话”页面,体验部署的模型服务,进行对话问答。

准备工作

  • 已注册华为账号并开通华为云,进行了实名认证,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。具体操作,请参见注册华为账号并开通华为云实名认证
  • 配置委托访问授权
    ModelArts使用过程中涉及到与OBS、SWR等服务交互,首次使用ModelArts需要用户配置委托授权,允许访问这些依赖服务。
    1. 使用华为云账号登录ModelArts管理控制台,按照版本选择以下操作。
      • 新版本:在左侧导航栏选择系统管理 > 权限管理
      • 旧版本:在左侧导航栏选择“全局配置”
    2. 单击“添加授权”,配置相关参数。

      下文以IAM子用户为例进行说明,您可以按需修改。

      图1 添加授权示例
      表1 参数说明

      参数

      说明

      “授权对象类型”

      选择“IAM子用户”

      “授权对象”

      选择指定的IAM子用户,给指定的IAM子用户配置委托授权。

      “委托选择”

      选择“新增委托”

      “ 委托名称”

      系统自动创建委托名称,用户可以手动修改。

      “权限配置 ”

      选择“普通模式”,在“权限模板”下拉框选择“MaaS(ModelArts Studio)”。

    3. 勾选“我已经阅读并同意《ModelArts服务声明》”,单击“创建”,即可完成委托配置。

步骤一:创建我的模型

  1. 登录ModelArts Studio(MaaS)控制台,在顶部导航栏选择目标区域。
  2. 在左侧导航栏,选择“我的模型”
  3. “我的模型”页面右上角,单击“创建模型”
  4. “创建模型”页面,配置相关参数。
    表2 创建模型

    参数

    说明

    取值样例

    来源模型

    单击“选择基础模型”,在弹窗中选择模型,单击“确定”

    Qwen2-7B

    模型名称

    自定义模型名称。

    Qwen2-7B

    描述

    自定义模型简介。

    -

    权重设置与词表

    默认选择“自定义权重”

    自定义权重

    自定义权重存储路径

    1. 将权重文件存储到OBS桶中,且权重文件必须满足对应模型的文件格式要求。

      权重文件指的是模型的参数集合。OBS桶必须和MaaS服务在同一个Region下。

      • 关于如何获取权重文件,请参见Hugging Face官网
        说明:

        如果Hugging Face网站打不开,请在互联网上搜索解决方案。

      • 关于权重文件的格式要求,请参见约束限制
      • 关于如何将权重文件存储到OBS桶,请参见上传概述
    2. 单击“自定义权重存储路径”右侧的文件图标,选择存放模型权重文件的OBS路径(必须选择到模型文件夹),然后单击“确定”

      单次上传本地文件到OBS的总大小不能超过5GB,详情请参见如何上传超过5GB的大对象

    /3003****/79abed0d-2622-4cd0-80fc-2065ebe****/

  5. 参数配置完成后,单击“创建”,创建自定义模型。
  6. 在模型列表,单击模型名称可以进入详情页查看模型详细信息和任务。
    当模型“状态”变成“创建成功”时,表示模型创建完成。
    图2 查看我的模型状态

步骤二 :部署模型服务

  1. 模型创建成功后,在“我的模型”页面,单击目标模型右侧操作列的“部署”
  2. “部署模型服务”页面,完成创建配置。
    表3 部署模型服务

    参数

    说明

    取值样例

    服务设置

    服务名称

    自定义模型服务的名称。

    service-1122

    描述

    自定义部署模型服务的简介。

    -

    模型设置

    部署模型

    当从“我的模型”进入部署模型服务页面时,此处默认呈现选择的模型。

    Qwen2-7B

    资源设置

    资源池类型

    资源池分为公共资源池与专属资源池。

    • 公共资源池由所有租户共享使用。
    • 专属资源池需单独创建,不与其他租户共享。

    公共资源池

    实例规格

    选择实例规格,规格中描述了服务器类型、型号等信息。

    说明:

    公共资源池暂未完全公开,如需申请使用,请联系与您对接的销售人员或拨打4000-955-988获得支持,您也可以在线提交售前咨询

    Ascend: 1*ascend-snt9b2 | ARM: 24 vCPUs 96000MB

    流量限制(QPS)

    设置待部署模型的流量限制QPS。

    3

    实例数

    设置服务器个数。

    1

    更多选项

    内容审核

    选择是否打开内容审核,默认启用。
    • 开关打开(默认打开),内容审核可以阻止在线推理中的输入输出中出现不合规的内容,但可能会对接口性能产生较大影响。
    • 开关关闭,停用内容审核服务,将不会审核在线推理中的输入输出,模型服务可能会有违规风险,请谨慎关闭。

      关闭“内容审核”开关,需要在弹窗中确认是否停用内容审核服务,勾选后,单击“确定”关闭。

    打开

    事件通知

    选择是否打开“事件通知”开关。

    • 开关关闭(默认关闭):表示不启用消息通知服务。
    • 开关打开:表示订阅消息通知服务,当任务发生特定事件(如任务状态变化或疑似卡死)时会发送通知。此时必须配置“主题名”“事件”
      • “主题名”:事件通知的主题名称。单击“创建主题”,前往消息通知服务中创建主题。
      • “事件”:选择要订阅的事件类型。例如“创建中”“已完成”“运行失败”等。

    关闭

    自动停止

    当使用付费资源时,可以选择是否打开“自动停止”开关。

    • 开关关闭(默认关闭):表示任务将一直运行。
    • 开关打开:表示启用自动停止功能,此时必须配置自动停止时间,支持设置为“1小时”“2小时”“4小时”、6小时或“自定义”。启用该参数并设置时间后,运行时长到期后将会自动终止任务,准备排队等状态不扣除运行时长。

    关闭

  3. 参数配置完成后,单击“提交”

    “资源池类型”选择“公共资源池”时,会出现“计费提醒”对话框,请您仔细阅读预估费用信息,然后单击“确定”,创建部署任务。模型部署会基于资源占用时长进行计费。服务状态为运行中时会产生费用,最终实际费用以账单为准。

    在“我的服务”列表中,当模型部署服务的“状态”变成“运行中”时,表示模型部署完成。

步骤三:在模型体验使用模型服务

  1. ModelArts Studio(MaaS)控制台左侧导航栏中,选择“在线推理”
  2. “在线推理”页面,单击“我的服务”页签,在目标模型服务右侧,单击操作列“更多 > 在线体验”,进入“文本对话”页面。
  3. “文本对话”页面右上角,单击“参数设置”,按需拖动或直接输入数值配置推理参数。单击“恢复默认”可以将参数值调回默认值。
    图3 设置推理参数
    表4 参数设置

    参数

    说明

    取值样例

    温度/Temperature

    设置推理温度。

    • 数值较高,输出结果更加随机。
    • 数值较低,输出结果更加集中和确定。

    0.7

    核采样/top_p

    设置推理核采样。调整输出文本的多样性,数值越大,生成文本的多样性就越高。

    1

    top_k

    选择在模型的输出结果中选择概率最高的前K个结果。

    20

  4. 在对话框中输入问题,查看返回结果,在线体验对话问答。
    图4 体验模型服务

后续操作

如果不再需要使用此模型服务,建议清除相关资源,避免产生不必要的费用。
  • ModelArts Studio(MaaS)控制台“在线推理”页面,选择“我的服务”页签,在需要删除的服务右侧,单击操作列的“更多 > 删除”,在弹窗中输入“DELETE”,单击“确定”,删除服务。
  • ModelArts Studio(MaaS)控制台“我的模型”页面,在“Qwen2-7B”模型右侧,单击操作列的“更多 > 删除”,在弹窗中输入“DELETE”,单击“确定”,删除模型。
  • 进入OBS管理控制台,删除本示例使用的OBS桶及文件夹。

相关文档