SFT微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data.py存放在llm_train/As

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理说明 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools”目录中，脚本样

查看更多 →

步骤3：发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和 对象存储服务 （Object Storage Service，简称OBS） MapReduce服务 （MapReduce Service,简称 MRS ）、 数据仓库 服务（Data

查看更多 →

步骤4：从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd

查看更多 →

步骤3：发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务（Object Storage Service，简称OBS）MapReduce服务（MapReduce Service,简称MRS）、数据仓库服务（Data

查看更多 →

步骤4：从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd

查看更多 →

步骤7：数据质量监控 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在 DataArts Studio 数据质量模块中，可以对业务指标和数据质量进行监控。

查看更多 →

泄露，同时会对敏感数据的求和计算添加差分噪声，以保护敏感数据不被泄露。 非敏感：指不参与数值分析，也和唯一身份无关的数据。例如等级、公司类型。 脱敏：勾选后，会对数据进行脱敏。 在“数据管理”页签找到待发布的数据名称，单击“发布”，数据就会被同步到作业管理的数据集中。 编辑完成后，需再次发布，变更才会生效。

查看更多 →

步骤一：创建数据源 操作场景 进行统一数据源管理，用于SQL审核的数据库审核及其他用到数据源的场景。 前提条件 添加的数据源必须是正确并且可以连接成功的。 操作步骤 登录UGO服务。 单击左侧导航栏的“数据源管理”。 在数据源管理页面，单击右上角的“创建数据源”按钮。 进入创建数据源页面，完成基本信息的填写。

查看更多 →

获取数据仓库自定义属性列表 功能介绍 获取数据仓库自定义属性列表 URI GET /v1.0/{project_id}/common/warehouses/custom-attributes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID

查看更多 →

快速开始使用 GaussDB (DWS)。 首先，按照《数据仓库服务快速入门》中的步骤快速部署集群、连接到数据库并尝试进行一些查询。 准备好构建数据库后，将数据加载到表中并编写查询内容以操作数据仓库中的数据后，可以回到《数据仓库服务数据库开发指南》。 了解GaussDB(DWS)数据仓库的内部架构。 如果您想要

查看更多 →

快速开始使用GaussDB(DWS)。 首先，按照《数据仓库服务快速入门》中的步骤快速部署集群、连接到数据库并尝试进行一些查询。 准备好构建数据库后，将数据加载到表中并编写查询内容以操作数据仓库中的数据后，可以回到《数据仓库服务数据库开发指南》。 了解GaussDB(DWS)数据仓库的内部架构。 如果您想要

查看更多 →

步骤二：确认目标数据库 本章节向用户介绍如何确认数据库评估的目标数据库。 因源库语法过于庞杂、使用灵活，评估结果中工作量评估、对象评估统计等信息仅作为参考，具体请以实际迁移结果为准。 前提条件 源库评估成功。 操作步骤 登录UGO控制台。 单击左侧导航栏“结构迁移 > 数据库评估”。

查看更多 →

数据共享交换管理实施步骤 安装前准备 安装须知 DSP Governor DSP Server DSP Scheduler DSP DataRelease DSP SSM DSP Agent DSP GatherClient DSP Studio 父主题： 实施步骤

查看更多 →

步骤4：初始化数据盘 初始化概述 初始化Linux数据盘（容量小于等于2TiB） 初始化Linux数据盘（容量大于2TiB） 初始化windows数据盘

查看更多 →

步骤一：添加数据库 数据库安全审计支持对华为云上的RDS关系型数据库、E CS /BMS自建数据库进行审计。购买数据库安全审计实例后，您需要将待审计的数据库添加至数据库安全审计实例中。 数据库安全审计支持审计的数据库类型及版本，请参见支持的数据库类型及版本。 前提条件 已成功购买数据

查看更多 →

数据处理支持什么类型脚本？ 目前数据处理仅支持Python脚本。数据处理集成了华为公有云ModelArts服务的引擎，用来执行用户自编码的Python脚本。 父主题： 数据处理

查看更多 →

数据湖就是在这种背景下产生的。数据湖是一个集中存储各类结构化和非结构化数据的大型数据仓库，它可以存储来自多个数据源、多种数据类型的原始数据，数据无需经过结构化处理，就可以进行存取、处理、分析和传输。数据湖能帮助企业快速完成异构数据源的联邦分析、挖掘和探索数据价值。 数据湖的本质，是由“数据存储架构+数据处理工具”组成的解决方案。

查看更多 →

当推理计算完成后，需要将推理结果或者推理结束信号发送给Host端，如果在推理Engine内部调用SendData回传数据到Host端，将会消耗推理Engine的时间。建议单独开一个专门负责回传数据的Engine（例如：DataOptEngine），当推理结束后，推理Engine将处理数据透传给DataOptEngine，由DataOptE

查看更多 →

当推理计算完成后，需要将推理结果或者推理结束信号发送给Host端，如果在推理Engine内部调用SendData回传数据到Host端，将会消耗推理Engine的时间。建议单独开一个专门负责回传数据的Engine（例如：DataOptEngine），当推理结束后，推理Engine将处理数据透传给DataOptEngine，由DataOptE

查看更多 →

数据处理预置算子说明 数据校验 数据清洗 数据选择 数据增强

查看更多 →