# 数据连接入门：一键完成数据连接 #### 使用场景 在数据处理和模型训练的场景中，用户需要将多种类型的数据集高效、准确地导入到ModelArts数据平台中，以支持后续的智能精炼和模型训练任务。然而，传统的数据导入方式存在诸多限制，如不支持自定义任务名称、数据格式转换功能有限等，导致用户在导入数据时面临操作不便和数据处理效率低下的问题。如何在新的平台中实现更加灵活和高效的数据导入功能，成为用户亟待解决的问题。为此，ModelArts平台提供了增强的数据导入功能，支持多种基础数据类型的导入，允许用户在创建导入任务时编辑任务名称和描述，同时支持数据格式转换和数据集的直接发布，从而显著提升了数据处理的灵活性和效率，满足了用户在数据准备阶段的多样化需求。 #### 前提条件 - 在使用ModelArts前，需完成华为云账号注册、实名认证及相关权限授权。具体操作，请参见[一、前置准备：账号与权限](https://support.huaweicloud.com/qs-modelarts/modelarts_06_0006.html#section0)。 - 创建导入任务前，请先按照[数据集格式要求](https://support.huaweicloud.com/dataprepare-modelarts/dataprepare-modelarts-0002.html)提前准备数据。 #### 约束限制 - 数据连接导入数据文件或压缩包不超过20GB，总文件大小也不超过20GB。 - 通过OBS导入数据，在指定OBS路径时只支持指定到文件夹，不支持指定到文件。 #### 计费说明 数据连接计费涉及数据存储OBS计费，具体可参考[数据管理计费项](https://support.huaweicloud.com/price-modelarts/price-modelarts-0009.html)。 #### 创建数据连接 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)。 2. 在控制台左侧导航栏选择"数据准备 \> 数据连接"。 3. 在"数据连接"页面右上方单击"创建数据连接"，在"创建数据连接"页面，配置相关信息。 表1创建数据连接参数说明 | 参数 || 说明 | 示例值 | |:---|---|:---|:---| | 基本信息 | 任务名称 | 名称默认为data-connect-年月日时分秒，您也可以按需修改。 名称需以中文、字母开头，以中文、字母、数字结尾，长度2\~64的字符。只允许输入中文、字母、数字、中划线、下划线字符。 | data-connect-20260425083507 | | 基本信息 | 描述 | 自定义数据连接的描述。最大支持200个字符。只允许中文、大小写字母、数字，以及空格、中划线、下划线、逗号、句号、括号、冒号、顿号，不支持其他字符。 | - | | 数据导入 | 数据集类型 | 支持文本、图片、视频、音频和其他类型数据集。关于数据集的格式要求，请参见[数据集格式要求](https://support.huaweicloud.com/dataprepare-modelarts/dataprepare-modelarts-0002.html)。 | 文本 基础文本 | | 数据导入 | 文件格式 | 不同数据集支持的文件格式不同，请以控制台显示为准。 | docx | | 数据导入 | 连接方式 | 不同数据集支持的连接方式不同，请以控制台显示为准。 | 对象存储服务OBS | | 数据导入 | 存储地址 | - "连接方式"为"对象存储服务OBS"：支持选择"对象存储 OBS - 对象桶"或者"对象存储 OBS - 并行文件系统"。您可以单击![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002555752068.png)图标选择OBS存储地址或者手动输入地址。存储地址必须以"obs://"或者"/"开头，以"/"结尾，且除前缀外不得出现"//"，例如obs://bucketname/path/或者/bucketname/path/。 单文件/压缩包最大不超过1GB。其他人的共享桶路径仅支持手动输入。 - "连接方式"为"本地上传"：支持选择"对象存储 OBS - 对象桶"或者"对象存储 OBS - 并行文件系统"。您可以单击![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002555911702.png)图标选择OBS存储地址或者手动输入存储地址。存储地址必须以"obs://"或者"/"开头，以"/"结尾，且除前缀外不得出现"//"，例如obs://bucketname/path/或者/bucketname/path/。其他人的共享桶路径仅支持手动输入。 最多支持20个文件上传，单文件大小不超过1GB，建议单次添加文件数量不超过10个。 | obs://bucketname/path/ | | 生成数据集 | 数据集名称 | 自定义数据集的名称。名称需以中文、字母开头，以中文、字母、数字结尾，长度2\~63的字符。只允许输入中文、字母、数字、中划线、下划线字符。 | dataset | | 生成数据集 | 数据集属性 | 单击![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002586425227.png)图标，可按需配置数据集的属性，例如行业、语言等。 | - | | 生成数据集 | 描述 | 自定义数据集的描述。可输入中文、大小写字母、数字，以及空格、中划线、下划线、逗号、句号、括号、冒号、顿号，不支持其他字符。最大长度不超过200个字符。 | - | | 生成数据集 | 数据集状态 | 上线后的数据集才可被下游模型训练等作业任务调用。 - 打开"立即上线数据集"，生成数据集在"资产管理 \> 数据 \>我的数据"页面为"已上线"状态，可以被下游模型训练等作业直接使用。 - 关闭"立即上线数据集"，生成数据集在"资产管理 \> 数据 \>我的数据"页面为"未上线"状态，不可被下游模型训练等作业直接使用，需要手动上线数据集后才能使用。 | 打开"立即上线数据集" | 4. 参数配置完成后，单击页面右下角"立即创建"，在"数据连接"页面可以查看数据集的任务状态，如果状态为"运行成功"，则数据连接任务成功。 图1查看数据连接任务状态 ![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002686467153.png) 5. 数据集生成后，可在左侧导航栏，选择"资产管理 \> 数据"，在"我的数据"页签查看生成数据集。更多信息，请参见[我的数据](https://support.huaweicloud.com/dataprepare-modelarts/dataprepare-modelarts-0021.html)。 #### 后续操作 数据连接任务运行成功后，可用于[智能精炼](https://support.huaweicloud.com/dataprepare-modelarts/dataprepare-modelarts-0027.html)、[模型训练](https://support.huaweicloud.com/develop-modelarts/develop-modelarts-0001.html)等。