数据处理可以处理哪些数据源中的数据？ 目前仅支持读写OBS桶中的数据。如果读写租户OBS中数据，可以使用ModelArts提供的MoXing的API能力，实现读写OBS中的数据。 父主题： 数据处理

查看更多 →

使用数据工程构建CV大模型数据集 CV大模型支持接入的数据集类型 盘古CV大模型支持接入图片类、视频类、其他类数据集，不同模型所需数据见表1，数据集格式要求请参见图片类数据集格式要求、视频类数据集格式要求、其他类数据集格式要求。 表1 训练CV大模型数据集类型要求 基模型 训练场景

查看更多 →

使用数据工程构建预测大模型数据集 预测大模型支持接入的数据集类型 盘古预测大模型仅支持接入预测类数据集，不同模型所需数据见表1，该数据集格式要求请参见预测类数据集格式要求。 表1 预测大模型与数据集类型对应关系 基模型 模型分类 数据集类型 文件格式 预测大模型 时序预测分类大模型

查看更多 →

alluxio://<Alluxio的节点名称>:19998/output <hadoop版本号>请根据实际情况替换。 <mrs集群版本号>替换为 MRS 的大版本号，如MRS 1.9.2版本集群此处为mrs-1.9.0。 <Alluxio的节点名称>:19998，请根据实际情况替换为Alluxio

查看更多 →

通过配置数据导入模板，进行数据导入 在AstroZero上定义数据导入模板，将模板下载到本地，并录入数据。数据录入完成后，通过导入模板导入新数据并按照预定义的脚本处理数据。 前提条件 导入数据的数据表已存于AstroZero中，参考数据对象建模创建对象CNAME__Class__ CS T，并自定义字段number。

查看更多 →

通过命令创建数据库账户 创建文档数据库实例时，系统会同步创建默认账户rwuser。您可以根据业务需要，通过默认账户rwuser创建其他数据库账户，之后您可以使用默认账户rwuser或已创建的其他账户对数据库中的数据如库、表、索引等进行操作。 使用须知 为目标实例创建数据库账户时，

查看更多 →

示例：通过本地文件导入导出数据 在使用JAVA语言基于 GaussDB 进行二次开发时，可以使用CopyManager接口，通过流方式，将数据库中的数据导出到本地文件或者将本地文件导入数据库中，文件格式支持CSV、TEXT等格式。 样例程序如下，执行时需要加载GaussDB jdbc

查看更多 →

通过视图管控数据权限 本章节介绍如何通过视图实现给不同的用户授予查询同一表中不同数据的权限，提供数据的权限管理和安全性。 场景 dbadmin用户连接集群后，创建示例表customer： 1 CREATE TABLE customer (id bigserial NOT NULL

查看更多 →

通过人工标注方式标注数据 创建ModelArts人工标注作业 人工标注图片数据 人工标注文本数据 人工标注音频数据 人工标注视频数据 管理标注数据 父主题： 标注ModelArts数据集中的数据

查看更多 →

在“创建导入任务”页面选择所需要的“数据集类型”、“文件格式”、“导入来源”，并单击“存储位置”上传数据文件。 NLP大模型评测数据集支持的格式见表2。 表2 评测数据集格式 模型类型 评测数据集格式 NLP大模型 文本-单轮问答-jsonl格式 NLP大模型 其他-自定义-csv格式

查看更多 →

- 评测医学NLP大模型所需数据量 要求所有文本大小最大不超过100MB，目录下文件数量最多不超过100个。数据条数范围为：3-1000条。 构建医学NLP大模型数据集流程 在ModelArts Studio大模型开发平台中，使用数据工程构建盘古NLP大模型数据集流程见表3。 表3

查看更多 →

创建CV大模型评测数据集 效果优秀的模型需要保证模型拥有良好的泛化能力，即模型不仅要在已给定的数据（训练数据）上表现良好，还要能够在未见过的数据上也达到类似的效果。为了实现这一目标，模型评测是必不可少的环节。在收集评估数据集时，必须保持数据集的独立性和随机性，确保收集到的数据能够代

查看更多 →

通过数据文件备份恢复ClickHouse数据 操作场景 本章节主要介绍通过把ClickHouse中的表数据导出到CSV文件进行备份，后续可以通过备份的CSV文件数据再进行恢复操作。 前提条件 已安装ClickHouse客户端。 在Manager已创建具有ClickHouse相关表权限的用户。

查看更多 →

通过数据文件备份恢复ClickHouse数据 操作场景 本章节主要介绍通过把ClickHouse中的表数据导出到CSV文件进行备份，后续可以通过备份的CSV文件数据再进行恢复操作。 前提条件 已安装ClickHouse客户端。 在Manager已创建具有ClickHouse相关表权限的用户。

查看更多 →

通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要，数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例，介绍如何通过 DataArts Studio 中的数据质量模块实现数据迁移前后的一致性校验。

查看更多 →

如图6所示，选择开发场景为“大屏”，单击右侧区域的“开发”，进入到配置的AppCube大屏开发环境。 图6 进入大屏开发环境 如果使用系统默认提供开发环境，进入到默认环境的业务大屏。 如果使用配置的开发环境，进入到配置的开发地址，配置的地址不是直接进入业务大屏，参见下图进入业务大屏。 如图7所示，单击“导入项目包”。

查看更多 →

通过Sqoop迁移数据库数据时报错 用户问题 MRS Sqoop迁移数据库数据报错如下： Communications link failure; The driver has not received any packets from the server； 源端为DWS数据库时报错如下：

查看更多 →

实名认证通过后，可以更改认证信息的账号姓名吗？ 可以。已经通过实名认证的个人账号，可以发起重新实名认证，变更为其他个人账号。 父主题： 个人变更

查看更多 →

使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 训练科学计算大模型训练数据要求所需数据量 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求

查看更多 →

大模型数据安全防护场景 训练数据资产中心 训练数据资产目录 文本敏感数据识别 文本敏感数据脱敏 OBS使用日志审计 训练数据水印

查看更多 →

大模型数据安全防护场景 计费模式 计费项 计费样例

查看更多 →