中软国际数据治理专业服务解决方案实践

数据订阅 AOM支持用户订阅指标或者告警信息，订阅后可以将数据转发到用户配置的kafka或DMS的Topic中，供消费者消费转发的订阅的信息。 数据订阅功能当前受限开放，如有需求可以通过提交工单，联系工程师为您开放此功能。 最多可创建10个数据订阅规则。 创建订阅规则 在左侧导航栏中选择“配置管理

查看更多 →

新建训练数据集 在“数据选择”页面，单击“新建训练数据集”，右侧弹出“新建数据集”页面，根据数据存储位置和数据标注情况，按表1填写数据集基本信息，然后单击“确定”。 图1 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。

查看更多 →

新建训练数据集 在“数据选择”页面，单击“新建训练数据集”，右侧弹出“新建数据集”页面，根据数据存储位置和数据标注情况，按表1填写数据集基本信息，然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。

查看更多 →

基于已设计好的热轧钢板表面缺陷标签准备图片数据。每个分类标签需要准备20个数据以上，为了训练出效果较好的模型，建议每个分类标签准备200个以上的数据。 针对未标注数据，要求将图片放在一个目录里，示例如下所示。 ├─dataset-import-example │ IMG_20180919_114732

查看更多 →

“编码”选择“UTF-8”格式。 以换行符作为分隔符，每行数据代表一个样本数据，单个样本不能有分行显示，不支持换行。 文本数据至少包含2个及以上的标签。每个分类标签需要准备5个及以上数据，为了训练出效果较好的模型，建议每个分类标签准备100个以上的数据。 多语种文本分类工作流仅支持对单语种的文本

查看更多 →

不要把明显不同的多个任务数据放在同一个数据集内。 为了保证模型的预测准确度，训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力，数据集尽量覆盖可能出现的各种场景。 数据集样本数应大于100，用于测试的已标注数据应不少于20张，样本数达1万张以上性能更优。 为了准确率，建议数据集中标注数据占总数

查看更多 →

新建训练数据集 在“数据选择”页面，单击“新建训练数据集”，右侧弹出“新建数据集”页面，根据数据存储位置和数据标注情况，按表1填写数据集基本信息，然后单击“确定”。 图3 新建训练数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。

查看更多 →

描述 数据集简要描述。 数据集状态 按上传的数据是否标注分为“已标注数据集”和“未标注数据集”。数据格式请见数据集要求。 数据上传方式 训练数据上传的方式，当前仅支持把数据上传至OBS，默认为“选择obs文件”。 数据集输入位置 训练数据存储至OBS的位置。 单击“数据集输入位置”右

查看更多 →

K, V> record) 接口 支持 发送单条数据 Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback) 接口 支持 发送单条数据并设置回调处理函数 void close() 接口

查看更多 →

CARBON类型。 如果原始数据表存储格式不满足要求，您可以通过CDM将原始数据直接导入到DLI中进行分析，无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台，参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。

查看更多 →

数据探索 数据探索介绍 数据探索是针对当前数据源的数据进行挖掘和分析，主要聚焦在特征的分布范围、统计以及特征齐全度等，使用户能够更了解数据，进而指导在特征工程以及相关算法的配置。 数据探索是一个离线分析任务，任务有对应的启动时间，由于增量数据会实时入库，因此可以通过定时执行数据探索任务来覆盖增量数据。

查看更多 →

数据导入 数据导入介绍 数据导入即读取经过“数据结构”生成的数据，对每条数据进行校验。推荐系统保留字段需校验类型和数据合法性、自定义字段校验类型，输出错误报告。如果数据完全符合要求，会生成推荐系统所需要的宽表和画像数据。 宽表：推荐系统内部格式，以行为数据为主，将行为数据中涉及到的用户数据和物品数据整合成一条数据。

查看更多 →

导出：勾选列表订单批量导出，不勾选默认为当前页面所有订单 刷新：刷新页面订单的最新数据。 搜索：支持任务ID条件搜索，可以模糊搜索或者精确条件 列表订单操作：维护集成任务订单，操作字段可以查看历史调度，操作日志数据。并且集成任务部署完成了之后，可以手工操作执行调度，输入调度参数 图3 列表订单操作

查看更多 →

技术资产详情 逻辑实体详情：展示所选业务资产名的业务对象、数据分布、属性、数据评论等详细信息；通过单击下钻查看对应的技术资产详情和样例数据。 图4 逻辑实体详情 样例数据：展示所选逻辑实体中对应数据表的样例数据 图5 样例数据 元数据列表：由数据全景首页，搜索栏下方的主题域分组进入，展示各主

查看更多 →

数据质检 数据质检主要是将库中错误数据检测出来，与治理流程的清洗定义中的过滤规则不同的是，独立质检是将不规范的数据检测出来，并不改变质检表的数据，治理流程中的过滤规则是将不符合规范的数据过滤掉，改变质检表的数据。检测出错误数据后，可以查看错误数据原因、导出错误数据到 excel

查看更多 →

数据迁移 根据迁移配置，华为云OMS服务会开始从源端存储系统拉取数据。同时，服务会确保数据的完整性和一致性，避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能，当迁移过程中出现网络中断或其他异常情况时，服务可以从断点处恢复传输，确保数据的完整性和迁移的连续性。 父主题：

查看更多 →

元数据 数据目录（Catalog） LakeFormation实例的元数据资源中的最顶层资源，即在一个LakeFormation实例下可以创建多个Catalog，包含名称、描述、位置等信息，支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。

查看更多 →

数据开发 项目创建 数据开发项目需为开发环境和生产环境配置数据鉴权模式，选择计算资源组，同时可以指定运行账号及运行队列。 图1 项目创建 离线任务开发 离线数据开发支持 HiveSQL、ImpalaSQL、SparkSQL、Python、Shell、Jar、Spark 等任务类型。

查看更多 →

数据模块 按记录ID查询数据 按记录ID删除数据 按记录ID更新数据 按记录ID列表查询数据 新增对象数据 按记录ID列表删除数据 按条件更新数据 按条件查询对象数据功能 按条件删除对象数据功能 按条件查询对象记录数 批量插入或修改对象数据功能 父主题： API

查看更多 →

据标准关联到各个业务上的数据库中。其中，标识符、数据类型、表示格式、值域是数据交换的基础，它们用于描述表的字段元信息，规范字段所存储的数据信息。 进入规范设计单击左侧数据标准菜单，进入数据标准。 图1 数据标准1 为数据标准建立目录分类，用于存放相应的数据标准。单击左侧的加号，输入目录名称，单击保存即可。

查看更多 →

表注释 更新周期 数据是否存在物理删除 主键 新增数据时间戳 更新时间戳 总体记录数量（条） 月均增量（条） 数据表所属业务系统 表名称 中文注释 日周月年 从数据库表中彻底删除 主键字段说明 数据新增的时间戳字段 数据同步机制为增量的需填写，提供时间戳字段 总数据记录条数 根据历年数据增量计算平均值

查看更多 →