# 一站式体验：数据连接、训练、推理与实时比对 #### 操作场景 在AI开发领域，开发者经常面临从数据准备到模型部署的复杂流程，这不仅耗时而且容易出错。使用传统的开发工具和方法，开发者往往难以高效地管理和优化这一流程。因此，如何简化这一流程、提高开发效率成为了一个亟待解决的问题。ModelArts作为面向开发者的一站式AI开发平台，支持用户将自己的数据集导入到平台中，用于模型训练等任务。 本案例中使用的数据集较为简单，训练方法也相对基础，仅作为演示用途，旨在帮助用户快速了解如何使用数据连接、模型训练、模型推理和实时比对等功能。此案例并不适用于复杂的预测场景。您可以参考本案例，根据实际需求调整数据集和训练参数等信息，以创建满足预期的模型服务。 #### 前提条件 - 已完成华为云账号注册、实名认证及相关权限授权。具体操作，请参见[一、前置准备：账号与权限](https://support.huaweicloud.com/qs-modelarts/modelarts_06_0006.html#ZH-CN_TOPIC_0000002516691958__section958014111783)。 - 已创建OBS桶。具体操作，请参见[通过控制台快速使用OBS](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)。 #### 约束限制 - 数据连接：导入数据文件或压缩包不超过20GB，总文件大小也不超过20GB。 - 模型训练：ModelArts不支持已启用桶加密功能的OBS桶，请在创建OBS桶时勿开启此选项。 - 实时比对：仅支持大语言模型领域的文本生成类模型比对，暂不支持其他领域模型比对。单次比对任务最多支持3个模型同时进行。 #### 计费说明 - OBS存储：按实际使用的存储容量、存储类型和时长收费。详情参见[OBS计费概述](https://support.huaweicloud.com/price-obs/obs_42_0001.html)。 - 部署推理服务：按计算资源和存储资源的累计值计费，详情请参见[推理部署（新版）计费项](https://support.huaweicloud.com/price-modelarts/inference2.0-modelarts-0074.html)。 - 创建训练作业：按计算资源和存储资源的累计值计费，详情请参见[模型训练计费项](https://support.huaweicloud.com/price-modelarts/price-modelarts-0011.html)。 #### 案例流程 ![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002629781576.png) 1. 将已有数据集与ModelArts进行数据连接。 2. 基于Qwen3-8B模型进行训练，优化模型性能。 3. 将训练好的模型部署为可运行的推理服务。 4. 将未训练与已训练的推理服务进行实时比对，查看模型的训练效果。 5. 为避免后续不必要的计费，您可以按需删除相关资源。 #### 步骤一：创建数据连接 在数据处理和模型训练的场景中，用户需要将多种类型的数据集高效、准确地导入到ModelArts平台中，以支持后续的数据精炼和模型训练任务。然而，传统的数据导入方式存在诸多限制，如不支持自定义任务名称、数据格式转换功能有限等，导致用户在导入数据时面临操作不便和数据处理效率低下的问题。如何在新的平台中实现更加灵活和高效的数据导入功能，成为用户亟待解决的问题。为此，ModelArts平台提供了数据连接功能，支持多种基础数据类型的导入，满足用户在数据准备阶段的多样化需求。 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)。在左侧导航栏选择"数据准备 \> 数据连接"。 2. 在"数据连接"页面右上方单击"创建数据连接"，在"创建数据连接"页面，配置相关信息。 部分参数配置说明如下。关于参数的详细说明，请参见[创建数据连接](https://support.huaweicloud.com/dataprepare-modelarts/dataprepare-modelarts-0015.html)。 表1创建数据连接参数说明 | 参数 || 说明 | 示例值 | |:---|---|:---|:---| | 数据导入 | 数据集类型 | 支持文本、图片、视频、音频和其他类型数据集。关于数据集的格式要求，请参见[数据集格式要求](https://support.huaweicloud.com/dataprepare-modelarts/dataprepare-modelarts-0002.html)。 | 文本 文本生成SFT | | 数据导入 | 文件格式 | 默认为"jsonl"，单击格式名称可下载对应的样例文件。本示例使用样例文件进行训练。 | jsonl Alpaca 格式 单击"下载样例文件" | | 数据导入 | 连接方式 | 支持对象存储服务OBS和本地上传两种方式。 | 本地上传 | | 数据导入 | 存储地址 | 支持"对象存储 OBS - 对象桶"和"对象存储 OBS - 并行文件系统"。您可以直接输入存储地址或者单击![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002659610187.png)图标选择存储地址。存储地址必须以"obs://"或者"/"开头，以"/"结尾，且除前缀外不得出现"//"，例如obs://bucketname/path/或者/bucketname/path/。 本示例选择"对象存储 OBS - 对象桶"，输入存储地址，单击添加文件，将已下载的样例文件进行上传。上传的文件将保存至OBS存储地址中。 | 对象存储 OBS - 对象桶 obs://obstest/test/ qa-data-example_alpaca .jsonl | | 生成数据集 | 数据集名称 | 自定义数据集的名称。名称需以中文、字母开头，以中文、字母、数字结尾，长度2\~63的字符。只允许输入中文、字母、数字、中划线、下划线字符。 | dataset-qa1 | | 生成数据集 | 数据集状态 | 上线后的数据集才可被下游模型训练等作业任务调用。 - 打开"立即上线数据集"，生成数据集在"资产管理 \> 数据 \>我的数据"页面为"已上线"状态，可以被下游模型训练等作业直接使用。 - 关闭"立即上线数据集"，生成数据集在"资产管理 \> 数据 \>我的数据"页面为"未上线"状态，不可被下游模型训练等作业直接使用，需要手动上线数据集后才能使用。 | 打开"立即上线数据集" | 3. 参数配置完成后，单击页面右下角"立即创建"。 在"数据连接"页面可以查看数据集的任务状态，如果状态为"运行成功"，则数据连接任务成功。 图1数据连接 ![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002629785718.png "点击放大") 4. 数据集生成后，可在左侧导航栏选择"资产管理 \> 数据"，在"我的数据"页签查看生成数据集。更多信息，请参见[我的数据](https://support.huaweicloud.com/dataprepare-modelarts/dataprepare-modelarts-0021.html)。 图2我的数据 ![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002660065165.png "点击放大") #### 步骤二：基于Qwen3-8B模型进行训练 在大模型训练中，精调（或"微调"）（Fine-tuning） 是指通过特定领域的数据集对已经做过全量预训练模型（Pre-trained Model，PT）进行二次训练的方法。通过精调能够更新模型权重，使模型能够更有效地应对具体的任务需求。这一阶段使模型能够精确执行如文案生成、代码生成和专业问答等特定场景中的任务。 1. 在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)左侧导航栏，选择"模型开发与训练 \> 模型训练"进入训练作业列表。 2. 单击"创建训练作业"，进入创建训练作业页面。 部分参数配置说明如下。关于参数的详细说明，请参见[创建训练作业](https://support.huaweicloud.com/develop-modelarts/develop-modelarts-0005.html)。 表2创建训练作业参数说明 | 参数 || 说明 | 示例值 | |:---|---|:---|:---| | 训练模式 || - 精调作业：适用于基于已有预训练模型（如Qwen系列）进行微调的场景。 低门槛模型训练，使用平台预置的优质模型资产，用户无需关注镜像构建、环境依赖或代码调试，只需上传业务训练数据，调整关键参数。 - 自定义作业：适用于希望完全自定义训练流程，使用自研代码或特定框架镜像的场景。 | 精调作业 | | 基本信息 | 任务名称 | 自定义精调作业的名称。支持1\~64位，只包含字母、数字、中划线、下划线的名称。 | Qwen3-8B-training | | 训练配置 | 选择模型 | 单击卡片，支持选择预置模型和我的模型。 | 预置模型 Qwen3-8B V1.0.0 | | 训练配置 | 训练目标 | ModelArts支持全量微调、LoRA微调两种调优类型。不同模型支持的调优类型不同。 - 全量微调：直接在模型上训练，影响模型全量参数的微调训练，效果较好，收敛速度较慢，训练时间较长。 - LoRA微调：冻结原模型，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数，效果接近或略差于全参训练，收敛速度快，训练时间短。 | 全量微调 | | 训练配置 | 模型输出路径 | 支持精调后的模型存储至OBS和SFS Turbo。当前仅支持精调后模型存储至OBS，后续将支持存储至SFS Turbo。用户自己的OBS桶可以在界面选择，也可以手动输入路径，路径格式以"obs://"开头并以"/"结尾，例如"obs://bucketname/path/"。其他人的共享桶路径仅支持手动输入地址。 | OBS obs://obstest/test/output/ | | 资源配置 | 资源池类型 | 支持使用公共资源池和专属资源池 。关于资源池的说明，请参见[在ModelArts中公共资源池和专属资源池的区别是什么](https://support.huaweicloud.com/modelarts_faq/modelarts_05_3131.html)。 | 公共资源池 | | 数据配置 | 训练集 | 单击卡片，选择"我的数据"，选择[步骤一]创建的数据集，单击"确定"。 | 我的数据 dataset-qa1 | | 自动发布到资产 | 选择发布方式 | 勾选"自动发布到资产"开关后，会将模型训练的最终产物 (CKPT) 发布为模型，在控制台"资产管理 \> 我的模型"页面可以查看该模型。 - 新模型：发布的精调模型为一个全新的模型，在控制台"资产管理 \> 我的模型"页面中会显示为一个新模型。 - 已有模型新版本：发布的精调模型是"资产管理 \> 我的模型"页面中的同一个命名的模型，仅模型版本号有变化，在模型详情中可以查看该模型的新版本号。 | 勾选"自动发布到资产" 新模型 | | 自动发布到资产 | 模型名称 | 设置调优后产生的新模型的名称。在[步骤三]使用。 支持2-128位，只包含中文、字母、数字、中划线、下划线，且以中文、字母**开头** ，以中文、字母、数字**结尾**。 | Qwen3-8B-训练 | 3. 参数配置完成后，单击"立即创建"，创建精调作业。 精调作业一般需要运行一段时间。当精调作业的状态变为"已完成"时，表示精调作业运行结束，其生成模型将存放至模型资产供后续使用。 图3模型训练完成 ![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002677987173.png) #### 步骤三：部署我的模型 模型资产管理是ModelArts平台的核心模块，负责统一管理平台提供的预置模型和我的模型。本案例使用我的模型一键部署，直接推理使用。如果您需要使用自定义镜像或者配置其他推理参数，创建自定义推理服务，请参考[自定义部署服务](https://support.huaweicloud.com/inference-modelarts/inference2.0-modelarts-0083.html)。 1. 在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)左侧导航栏，选择"资产管理 \> 模型"，单击"我的模型"页签，在[步骤二]创建的模型名称右侧，单击"部署"。 2. 在"创建服务"面板，配置相关信息，单击"确定"，在"计费提醒"对话框，阅读相关信息，单击"确定"。 部分参数配置说明如下。关于参数的详细说明，请参见[模型资产管理](https://support.huaweicloud.com/model-call-modelarts/model-call-modelarts-0005.html)。 表3创建服务参数说明 | 参数 | 说明 | 示例值 | |:---|:---|:---| | 服务名称 | 在线服务的名称，用于标识和管理在线服务。请按照界面提示规则填写。支持大小写英文字母、数字、中划线、下划线及中文，长度限制为1-128位。 | Qwen3-8B-训练 | | 资源池类型 | 支持使用公共资源池和专属资源池。 | 公共资源池 | | 推理单元 | 选择在线服务实例的硬件资源配置。 | 使用推荐值 | | 自动停止 | 勾选后，需设置服务自动停止时间，默认为1小时，设置时长最多为24小时。 开启后，当服务运行时开始计时，运行时间超出您预设的时长，它将自动停止运行。 在线服务部署后，可在控制台"模型推理\>在线推理"页面单击更多\>设置自动停止，重新设置自动停止。 | 勾选，默认值"1小时"。 | 3. 在左侧导航栏，选择"模型推理 \> 在线推理"，可以查看已部署的模型服务。 当服务的状态为运行中，表示服务运行成功。 图4在线推理 ![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002629798762.png) #### 步骤四：模型效果实时比对 模型实时比对功能提供了一个直观的比对平台，允许用户在完全一致的输入条件下，对不同模型进行横向评测。 实时比对功能至少需要使用两个模型进行比对。上文已部署了一个经过训练的模型，因此还需再部署一个未经过训练的模型，以进行模型效果的实时比对。本案例使用"Qwen3-8B-训练"与"Qwen3-8B-未训练"模型进行同步比对，直观验证模型的训练效果。 #### 部署比对模型 1. 在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)左侧导航栏，选择"资产管理 \> 模型"，在"预置模型"页面的Qwen3-8B模型卡片中，单击"部署"。 2. 在"创建服务"面板，配置相关信息，单击"确定"，在"计费提醒"对话框，阅读相关信息，单击"确定"。 部分参数配置说明如下。关于参数的详细说明，请参见[模型资产管理](https://support.huaweicloud.com/model-call-modelarts/model-call-modelarts-0005.html)。 表4创建服务参数说明 | 参数 | 说明 | 示例值 | |:---|:---|:---| | 服务名称 | 在线服务的名称，用于标识和管理在线服务。请按照界面提示规则填写。支持大小写英文字母、数字、中划线、下划线及中文，长度限制为1-128位。 | Qwen3-8B-未训练 | | 资源池类型 | 支持使用公共资源池和专属资源池。 | 公共资源池 | | 推理单元 | 选择在线服务实例的硬件资源配置。 | 使用推荐值 | | 自动停止 | 勾选后，需设置服务自动停止时间，默认为1小时，设置时长最多为24小时。 开启后，当服务运行时开始计时，运行时间超出您预设的时长，它将自动停止运行。 在线服务部署后，可在控制台"模型推理\>在线推理"页面单击更多\>设置自动停止，重新设置自动停止。 | 勾选，默认值"1小时"。 | 3. 在左侧导航栏，选择"模型推理 \> 在线推理"，可查看已部署服务的状态。当服务的状态为"运行中"，表示部署完成。 ![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002629641024.png) #### 实时比对 仅支持比对"文本生成"类型的服务。 1. 在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)左侧导航栏，选择"模型评测 \> 实时比对"。 2. 在"实时比对"页面右上角，单击"服务对比"，在"实时比对 \| 选择服务"对话框，选择未训练和已训练的两个服务，单击"确定"。 3. 在输入框输入问题。单击![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002629290944.png "点击放大")图标或者在键盘按"Enter"键发送问题，按"Shift+Enter"键换行。查看两个服务的效果比对。 关于实时比对功能的更多信息，请参见[实时比对](https://support.huaweicloud.com/model-evaluation-modelarts/model-evaluation-modelarts-0001.html)。 #### 步骤五：删除案例资源 案例体验完后，为避免后续不必要的计费，您可以按需删除相关资源。 - 删除OBS资源：[删除桶](https://support.huaweicloud.com/usermanual-obs/obs_03_0314.html) - 删除数据连接任务：[数据连接任务管理](https://support.huaweicloud.com/dataprepare-modelarts/dataprepare-modelarts-0016.html#section0) - 删除推理服务：[管理在线服务部署的生命周期](https://support.huaweicloud.com/inference-modelarts/inference2.0-modelarts-0021.html) - 删除训练作业：[复制、停止或删除训练作业](https://support.huaweicloud.com/develop-modelarts/develop-modelarts-0017.html) - 删除我的模型：[模型资产管理](https://support.huaweicloud.com/model-call-modelarts/model-call-modelarts-0005.html#section4) - 删除我的数据：[我的数据](https://support.huaweicloud.com/dataprepare-modelarts/dataprepare-modelarts-0021.html)