-workers：设置数据处理使用执行卡数量 -append-eod：参数用于控制是否在每个输入序列的末尾添加一个特殊的标记。这个标记表示输入序列的结束，可以帮助模型更好地理解和处理长序列。 seq-length：是一个用于计算序列长度的函数。它接收一个序列作为输入，并返回序列的长度，需和训练时参数保持一致。

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Llama2-70B为例，对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →

什么是键值存储服务 KVS简介 键值存储服务（Key-Value Storage Service，KVS）主要面向游戏、大数据、互联网等业务场景提供完全托管的键值存储及索引服务，主要用于应用的键值类数据（如：元数据、描述数据、管理参数、状态数据）的存储，提供可预测的性能和无缝扩展，

查看更多 →

请输入文本对象的内容，系统会根据内容和对象名称生成对象, 如果需要上传文本类型对象，该项必须配置。 上传对象 图片对象的base64编码 请输入图片对象的base64编码，系统会根据内容和对象名称生成对象, 如果需要上传二进制类型对象，该项必须配置。 上传对象 父主题： 华为云服务

查看更多 →

通过云日志服务LTS存储和查询审计事件 云审计 服务（ CTS ）直接对接华为云上的其他服务，实时记录用户对云服务资源的操作动作和结果，还支持将记录内容以事件文件形式保存至OBS桶或LTS日志流中。本文以“创建云服务器”（操作名称：createServer）为例，为您介绍如何通过云日志服务（LTS）存储和查询审计事件。

查看更多 →

数据处理支持什么类型脚本？ 目前数据处理仅支持Python脚本。数据处理集成了华为公有云ModelArts服务的引擎，用来执行用户自编码的Python脚本。 父主题： 数据处理

查看更多 →

数据处理场景介绍 ModelArts平台提供的数据处理功能，基本目的是从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。当数据采集和接入之后，数据一般是不能直接满足训练要求的。为了保障数据质量，以免对后续操作（如数据标注、模型训练等）带

查看更多 →

存储容灾服务（Storage Disaster Recovery Service，SDRS）提供跨可用区RPO=0的虚拟机级容灾保护，可大幅降低企业容灾TCO，简化容灾流程。当生产站点故障时，用户可在容灾站点迅速恢复业务，极大缩短业务中断时间，减少损失。更多存储容灾服务信息，请参见《存储容灾产品介绍》。当前存储容灾服务只支持云硬盘跨AZ的

查看更多 →

GaussDB (DWS)热数据存储和冷数据存储的区别？ 热数据存储和冷数据存储最大的区别在于存储介质不同： 热数据存储是直接将频繁被查询或更新，对访问的响应时间要求很高的热数据存储在DN数据盘中。 冷数据存储将不更新，偶尔被查询，对访问的响应时间要求不高的冷数据存储在OBS中。 因为其存储介质的不同

查看更多 →

对象存储与SAN存储和NAS存储相比较有什么优势？ SAN存储提供给应用的是一个LUN或者是一个卷，LUN和卷是面向磁盘空间的一种组织方式，上层应用要通过FC或者IS CS I协议访问SAN。SAN存储处理的是管理磁盘的问题，其他事情都要依靠上层的应用程序实现。 NAS存储提供给应用

查看更多 →

template 否 TemplateParam object 数据处理模板，如算法ID和参数等。 version_id 否 String 数据集版本ID。 work_path 否 WorkPath object 数据处理任务的工作目录。 workspace_id 否 String

查看更多 →

个人数据处理说明 个人数据清单 使用目的 存留期 用户屏幕图像 投屏中屏幕镜像信息投放 IdeaShare不保存个人数据 用户音频输出口 投屏中音频信息投放 用户IP地址 投屏连接

查看更多 →

转换桶和对象的存储类别 操作场景 本章节指导用户如何修改桶和对象的存储类别。 约束与限制 桶存储类别仅支持手动修改。对象存储类别支持手动修改和使用生命周期自动转换。 转换存储类别时数据冗余策略保持不变。如果桶或对象是多AZ，那就只能转换成支持多AZ的存储类型（标准存储、低频存储支持

查看更多 →

功能包和存储包分别是什么？ 功能包：需要备份的云服务器的磁盘空间。 存储包：备份数据所占用的存储空间。 例如：某用户拥有一个分配空间为100GB的云服务器，初始数据容量20GB，后续每日新写入1GB数据。该用户购买了一个月的100GB云服务器功能包和100GB的存储包，配置自动备

查看更多 →

设置桶和对象的存储类别 操作场景 本章节指导用户在创建桶和上传对象时，初次设置桶和对象的存储类别。如果桶和对象已有存储类别，而您想要修改其存储类别，请查看转换桶和对象的存储类别。 桶存储类别和对象存储类别 创建桶时支持设置桶存储类别，也可在桶创建完成后修改桶存储类别。 上传对象时

查看更多 →

桶存储类别和对象存储类别有什么关系？ 上传对象时，对象的存储类别默认继承桶的存储类别。您也可以重新指定对象的存储类别，同时也支持在对象上传完成后修改对象的存储类别。 修改桶的存储类别，桶内已有对象的存储类别不会修改，新上传对象时的默认对象存储类别随之修改。 父主题： 桶和对象相关

查看更多 →

设置桶的事件通知配置 功能说明 设置桶的事件通知配置，桶上所发生的指定操作，都能及时得到通知。目前对象存储服务（OBS）支持包括简单通知服务（SMN）、 函数工作流 服务（FunctionGraph）在内的两种桶通知服务配置。 更多关于事件通知的内容请参考事件通知。 方法定义 ObsClient.set

查看更多 →

获取桶的事件通知配置 获取桶的事件通知配置 功能说明 获取指定桶的事件通知配置信息。 方法定义 ObsClient.getBucketNotification(bucketName) 请求参数 参数名 类型 约束 说明 bucketName str 必选 桶名。 返回结果 类型 说明

查看更多 →

过滤规则 过滤规则 命名空间 obs.FilterRule 参数描述 字段名 类型 约束 说明 name str 作为请求参数时可选 指定规则按对象名前缀或者后缀进行过滤，支持的值： prefix suffix value str 作为请求参数时可选 指定的对象名关键字，用以按照前缀或者后缀过滤对象。

查看更多 →

最新动态（html） 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态，新特性将在各个区域（Region）陆续发布，欢迎体验。

查看更多 →