请参见权限管理。 约束与限制 请参见使用限制。 使用方式 DWR支持通过控制台、API配置数据处理的工作流和事件触发器。 支持的使用方式 参考文档 控制台 创建工作流 创建事件触发器 API 请参见《数据工坊API参考》。 前提条件 已完成工作流创建。 父主题： 数据处理

查看更多 →

数据处理简介 数据管理模块在重构升级中，对未使用过数据管理的用户不可见。如果要使用数据管理相关功能，建议提交工单开通权限。 ModelArts平台提供的数据处理功能，基本目的是从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。当数据采集

查看更多 →

云存储网关与对象存储的关系？ 云存储网关共享上传的数据最终存储在OBS标准存储类型桶中，建立共享后本地网关能同步绑定OBS桶中对象。 父主题： 概念类

查看更多 →

数据处理费用 当您使用图片处理功能时，对象存储服务OBS会收取相应的费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据处理费用 图片处理 被处理的原图片的实际大小。 具体请参见图片处理如何收费？ 按需计费 产品 定价 详细的服务资费费率标准请参见产品价格详情中“对象存储服务”的内容。

查看更多 →

固定宽度文件输入 原始数据包含NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 配置转换字段类型，与原始数据实际类型不同，全部数据成为脏数据。例如将字符串类型转换为数值类型。 配置字段分割长度，大于原字段值的长度，则数据分割失败，当前行成为脏数据

查看更多 →

数据处理(OT应用) IoT边缘云服务为应用提供总线对接能力、设备命令下发能力。IoTEdge对应用的日志、数据存储目录进行统一配置，应用相关设置通过环境变量传递给应用。 App从输入点接受来自总线的设备数据上报，对数据进行处理，将处理后的数据通过输出点发送到总线。 App也可以

查看更多 →

--tokenizer-type PretrainedFromHF #3.执行完成后在 datasets文件夹中可以得到 data_text_document.idx 与data_text_document.bin 两个文件 父主题： 预训练

查看更多 →

时序数据处理 缺失时间填充 时序序列是在连续的等间隔时间点采集的序列，缺失时间填充即根据已知的时间信息，补充缺失的时间。缺失时间填充完成后，其值可通过“数据处理 > 数据清洗 > 空值填充”菜单，进行空值填充。 操作步骤如下所示。 单击界面右上角的图标，选择“数据处理 > 时序数据处理

查看更多 →

栅格数据处理 打开 SuperMap iDesktop 图1 打开 在数据的数据处理选项卡下面选择重分级，选择源数据，设置参数 图2 设置参数 执行完成后在数据源下面新生成数据集result_reclass 图3 新生成数据集 在数据的数据处理选项卡下面选择重采样，选择源数据，设置参数采样模式

查看更多 →

SFT微调数据处理 SFT微调（Supervised Fine-Tuning）前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 下载数据

查看更多 →

--tokenizer-not-use-fast #3.执行完成后在 datasets文件夹中可以得到 data_text_document.idx 与data_text_document.bin 两个文件 父主题： 预训练

查看更多 →

存储容灾服务（Storage Disaster Recovery Service，SDRS）提供跨可用区RPO=0的虚拟机级容灾保护，可大幅降低企业容灾TCO，简化容灾流程。当生产站点故障时，用户可在容灾站点迅速恢复业务，极大缩短业务中断时间，减少损失。更多存储容灾服务信息，请参见《存储容灾产品介绍》。当前存储容灾服务只支持云硬盘跨AZ的

查看更多 →

用于二次开发，请使用API方式访问键值存储服务，具体操作请参见《键值存储服务API参考》。 管理控制台方式 其他相关操作，请使用管理控制台方式访问键值存储服务。 如果用户已注册，可直接登录管理控制台，从主页选择“键值存储服务 KVS”。如果未注册，请参见注册华为云并实名认证。 SDK方式

查看更多 →

对象存储服务 对象存储服务连接器用于对接华为云对象存储服务。 对象存储服务（Object Storage Service，简称OBS）是一个基于对象的海量存储服务，为您提供海量、安全、高可靠、低成本的数据存储能力。 创建对象存储服务连接 登录新版ROMA Connect控制台。

查看更多 →

对象存储与SAN存储和NAS存储相比较有什么优势？ SAN存储提供给应用的是一个LUN或者是一个卷，LUN和卷是面向磁盘空间的一种组织方式，上层应用要通过FC或者IS CS I协议访问SAN。SAN存储处理的是管理磁盘的问题，其他事情都要依靠上层的应用程序实现。 NAS存储提供给应用

查看更多 →

服务与路由 服务 路由 父主题： 单集群管理

查看更多 →

服务与路由 概述 集群内访问（ClusterIP） 节点访问（NodePort） 负载均衡（LoadBalancer） 路由（Ingress）

查看更多 →

服务与路由 服务与路由概述 服务（Service） 路由（Ingress） 父主题： 集群联邦

查看更多 →

创建数据处理任务 您可以创建一个数据处理任务，对已有的数据进行数据校验、数据清洗、数据选择或者数据增强操作。 前提条件 数据已准备完成：已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Llama2-70B为例，对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →