加密传输与存储 代码托管服务通过使用git-crypt来满足开发者对机密、敏感文件的加密存储与传输需要。 git-crypt简介 git-crypt是一款第三方开源软件，可以用于对Git仓库中的文件进行透明化的加密和解密。其可对指定文件、指定文件类型等进行加密存储，开发者可以将加

查看更多 →

云存储网关与对象存储的关系？ 云存储网关共享上传的数据最终存储在OBS标准存储类型桶中，建立共享后本地网关能同步绑定OBS桶中对象。 父主题： 概念类

查看更多 →

数据处理(OT应用) IoT边缘云服务为应用提供总线对接能力、设备命令下发能力。IoTEdge对应用的日志、数据存储目录进行统一配置，应用相关设置通过环境变量传递给应用。 App从输入点接收来自总线的设备数据上报，对数据进行处理，将处理后的数据通过输出点发送到总线。 App也可以

查看更多 →

固定宽度文件输入 原始数据包含NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 配置转换字段类型，与原始数据实际类型不同，全部数据成为脏数据。例如将字符串类型转换为数值类型。 配置字段分割长度，大于原字段值的长度，则数据分割失败，当前行成为脏数据

查看更多 →

--tokenizer-type PretrainedFromHF #3.执行完成后在 datasets文件夹中可以得到 data_text_document.idx 与data_text_document.bin 两个文件 父主题： 预训练

查看更多 →

时序数据处理 缺失时间填充 时序序列是在连续的等间隔时间点采集的序列，缺失时间填充即根据已知的时间信息，补充缺失的时间。缺失时间填充完成后，其值可通过“数据处理 > 数据清洗 > 空值填充”菜单，进行空值填充。 操作步骤如下所示。 单击界面右上角的图标，选择“数据处理 > 时序数据处理

查看更多 →

栅格数据处理 打开 SuperMap iDesktop 图1 打开 在数据的数据处理选项卡下面选择重分级，选择源数据，设置参数 图2 设置参数 执行完成后在数据源下面新生成数据集result_reclass 图3 新生成数据集 在数据的数据处理选项卡下面选择重采样，选择源数据，设置参数采样模式

查看更多 →

SFT微调数据处理 SFT微调（Supervised Fine-Tuning）前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 下载数据

查看更多 →

--tokenizer-not-use-fast #3.执行完成后在 datasets文件夹中可以得到 data_text_document.idx 与data_text_document.bin 两个文件 父主题： 预训练

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Llama2-70B为例，对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →

存储容灾服务（Storage Disaster Recovery Service，SDRS）提供跨可用区RPO=0的虚拟机级容灾保护，可大幅降低企业容灾TCO，简化容灾流程。当生产站点故障时，用户可在容灾站点迅速恢复业务，极大缩短业务中断时间，减少损失。更多存储容灾服务信息，请参见《存储容灾产品介绍》。当前存储容灾服务只支持云硬盘跨AZ的

查看更多 →

对象存储与SAN存储和NAS存储相比较有什么优势？ SAN存储提供给应用的是一个LUN或者是一个卷，LUN和卷是面向磁盘空间的一种组织方式，上层应用要通过FC或者IS CS I协议访问SAN。SAN存储处理的是管理磁盘的问题，其他事情都要依靠上层的应用程序实现。 NAS存储提供给应用

查看更多 →

用于二次开发，请使用API方式访问键值存储服务，具体操作请参见《键值存储服务API参考》。 管理控制台方式 其他相关操作，请使用管理控制台方式访问键值存储服务。 如果用户已注册，可直接登录管理控制台，从主页选择“键值存储服务 KVS”。如果未注册，请参见注册华为云并实名认证。 SDK方式

查看更多 →

对象存储服务 对象存储服务连接器用于对接华为云对象存储服务。 对象存储服务（Object Storage Service，简称OBS）是一个基于对象的海量存储服务，为您提供海量、安全、高可靠、低成本的数据存储能力。 创建对象存储服务连接 登录新版ROMA Connect控制台。

查看更多 →

服务与路由 服务与路由概述 服务（Service） 路由（Ingress） 父主题： 集群联邦

查看更多 →

数据处理支持什么类型脚本？ 目前数据处理仅支持Python脚本。数据处理集成了华为公有云ModelArts服务的引擎，用来执行用户自编码的Python脚本。 父主题： 数据处理

查看更多 →

数据处理场景介绍 ModelArts平台提供的数据处理功能，基本目的是从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。当数据采集和接入之后，数据一般是不能直接满足训练要求的。为了保障数据质量，以免对后续操作（如数据标注、模型训练等）带

查看更多 →

object 数据来源，与inputs二选一。 description 否 String 数据处理任务描述，长度为0-256位，不能包含^!<>=&"'特殊字符。 inputs 否 Array of ProcessorDataSource objects 数据来源列表，与data_source二选一。

查看更多 →

服务与路由 服务 路由 父主题： 单集群管理

查看更多 →

个人数据处理说明 个人数据清单 使用目的 存留期 用户屏幕图像 投屏中屏幕镜像信息投放 IdeaShare不保存个人数据 用户音频输出口 投屏中音频信息投放 用户IP地址 投屏连接

查看更多 →