SFT微调数据处理 SFT微调（Supervised Fine-Tuning）前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 下载数据

查看更多 →

-workers：设置数据处理使用执行卡数量 -append-eod：参数用于控制是否在每个输入序列的末尾添加一个特殊的标记。这个标记表示输入序列的结束，可以帮助模型更好地理解和处理长序列。 seq-length：是一个用于计算序列长度的函数。它接收一个序列作为输入，并返回序列的长度，需和训练时参数保持一致。

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Llama2-70B为例，对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →

什么是键值存储服务 KVS简介 键值存储服务（Key-Value Storage Service，KVS）主要面向游戏、大数据、互联网等业务场景提供完全托管的键值存储及索引服务，主要用于应用的键值类数据（如：元数据、描述数据、管理参数、状态数据）的存储，提供可预测的性能和无缝扩展，

查看更多 →

请输入文本对象的内容，系统会根据内容和对象名称生成对象, 如果需要上传文本类型对象，该项必须配置。 上传对象 图片对象的base64编码 请输入图片对象的base64编码，系统会根据内容和对象名称生成对象, 如果需要上传二进制类型对象，该项必须配置。 上传对象 父主题： 华为云服务

查看更多 →

存储容灾服务（Storage Disaster Recovery Service，SDRS）提供跨可用区RPO=0的虚拟机级容灾保护，可大幅降低企业容灾TCO，简化容灾流程。当生产站点故障时，用户可在容灾站点迅速恢复业务，极大缩短业务中断时间，减少损失。更多存储容灾服务信息，请参见《存储容灾产品介绍》。当前存储容灾服务只支持云硬盘跨AZ的

查看更多 →

通过云日志服务LTS存储和查询审计事件 云审计 服务（ CTS ）直接对接华为云上的其他服务，实时记录用户对云服务资源的操作动作和结果，还支持将记录内容以事件文件形式保存至OBS桶或LTS日志流中。本文以“创建云服务器”（操作名称：createServer）为例，为您介绍如何通过云日志服务（LTS）存储和查询审计事件。

查看更多 →

数据处理支持什么类型脚本？ 目前数据处理仅支持Python脚本。数据处理集成了华为公有云ModelArts服务的引擎，用来执行用户自编码的Python脚本。 父主题： 数据处理

查看更多 →

数据处理场景介绍 ModelArts平台提供的数据处理功能，基本目的是从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。当数据采集和接入之后，数据一般是不能直接满足训练要求的。为了保障数据质量，以免对后续操作（如数据标注、模型训练等）带

查看更多 →

对象存储与SAN存储和NAS存储相比较有什么优势？ SAN存储提供给应用的是一个LUN或者是一个卷，LUN和卷是面向磁盘空间的一种组织方式，上层应用要通过FC或者IS CS I协议访问SAN。SAN存储处理的是管理磁盘的问题，其他事情都要依靠上层的应用程序实现。 NAS存储提供给应用

查看更多 →

转换桶和对象的存储类别 操作场景 本章节指导用户如何修改桶和对象的存储类别。 约束与限制 桶存储类别仅支持手动修改。对象存储类别支持手动修改和使用生命周期自动转换。 转换存储类别时数据冗余策略保持不变。如果桶或对象是多AZ，那就只能转换成支持多AZ的存储类型（标准存储、低频存储支持

查看更多 →

设置桶的事件通知配置 功能说明 设置桶的事件通知配置，桶上所发生的指定操作，都能及时得到通知。目前对象存储服务（OBS）支持包括简单通知服务（SMN）、 函数工作流 服务（FunctionGraph）在内的两种桶通知服务配置。 更多关于事件通知的内容请参考事件通知。 方法定义 ObsClient.set

查看更多 →

获取桶的事件通知配置 获取桶的事件通知配置 功能说明 获取指定桶的事件通知配置信息。 方法定义 ObsClient.getBucketNotification(bucketName) 请求参数 参数名 类型 约束 说明 bucketName str 必选 桶名。 返回结果 类型 说明

查看更多 →

过滤规则 过滤规则 命名空间 obs.FilterRule 参数描述 字段名 类型 约束 说明 name str 作为请求参数时可选 指定规则按对象名前缀或者后缀进行过滤，支持的值： prefix suffix value str 作为请求参数时可选 指定的对象名关键字，用以按照前缀或者后缀过滤对象。

查看更多 →

最新动态（html） 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态，新特性将在各个区域（Region）陆续发布，欢迎体验。

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

多AZ存储资源包的作用？ 桶内无对象，为什么还在扣费？ 更多 产品咨询 OBS如何收费？ OBS支持HTTPS访问吗？ OBS、EVS和SFS有什么区别？ OBS单AZ和多AZ有什么区别？ OBS如何实现备份和容灾？ OBS的数据冗余存储方式是什么？ OBS的持久性和可用性如何？

查看更多 →

键值存储服务基本概念 存储仓（Store） 存储仓，简称仓，是用来存储表数据的单元。用户可以根据自己的业务系统划分，创建不同的仓。 表（Table） 表是用来存储键值数据的集合，归属于某个仓。用户可以在一个仓中创建多个表，用来储存键值数据。通过本地二级索引和全局二级索引可以快速而准确地检索到表中的键值数据。

查看更多 →

OBS对象存储服务 对象存储服务（Object Storage Service，OBS）是一个基于对象的海量存储服务，提供海量、安全、高可靠、低成本的数据存储能力。 可靠性功能 常见故障模式 父主题： 云服务可靠性介绍

查看更多 →

对象存储服务 OBS OBS桶策略中不授权禁止的Action OBS桶策略中授权检查 OBS桶策略授权约束 OBS桶禁止公开读 OBS桶禁止公开写 OBS桶策略授权行为使用SSL加密 父主题： 系统内置预设策略

查看更多 →