中软国际数据治理专业服务解决方案实践

数据规划 SAP HANA节点规划 在不同的场景下，SAP公司对HANA 服务器 的规格有明确的要求。 其他节点规划 其他节点包括NAT Server、SAP HANA Studio。 网络信息规划 父主题： 部署

查看更多 →

同时根据读取的数据生成新的数据或对数据进行修改。 使用Hive和Datasource（除Hudi外）表在执行数据修改类命令（例如insert into，load data）时由于数据源不支持事务性，在系统故障或队列资源重启后，可能会导致数据重复或数据不一致等问题。 为了避免这种情

查看更多 →

PERMISSIVE：选择PERMISSIVE模式时，如果某一列数据类型与目标表列数据类型不匹配，则该行数据将被设置为null。 DROPMALFORMED：选择DROPMALFORMED模式时，如果某一列数据类型与目标表列数据类型不匹配，则不导入该行数据。 FAILFAST：选择FAILFAST模

查看更多 →

在数据类型中，选择“静态数据”。 图1 选择静态数据 根据业务需求自定义静态数据，也可直接使用系统预置的数据，单击“保存”。 您可以通过“Excel模式”和“Json模式”两种模式设置静态数据。设置为“Excel模式”时，可执行如下操作： 单击“文件导入”，可将本地的数据导入到当

查看更多 →

数据加工 数据复制服务支持对同步的对象进行加工，即可以为选择的对象添加规则。各链路支持的加工规则不一样，目前仅部分链路支持数据加工，支持数据加工链路参考表1，具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL

查看更多 →

数据模块 按记录ID查询数据 按记录ID删除数据 按记录ID更新数据 按记录ID列表查询数据 新增对象数据 按记录ID列表删除数据 按条件更新数据 按条件查询对象数据功能 按条件删除对象数据功能 按条件查询对象记录数 批量插入或修改对象数据功能 父主题： API

查看更多 →

加密数据 功能介绍 功能介绍：加密数据，用指定的用户主密钥加密数据。 接口约束 使用非对称密钥加密数据时，请记录选择的密钥ID和加密算法。解密数据时，您将需要提供相同的密钥ID和加密算法。如果指定的密钥和加密算法与用于加密数据的值不匹配，解密操作将失败。 使用对称密钥解密时，不需

查看更多 →

数据订阅 修改数据库后，到SDK的用户端消费一般有多长时间的延迟 订阅SDK获取不到数据，且程序异常

查看更多 →

数据订阅 支持的数据源类型 数据订阅支持的数据源类型包括： RDS for MySQ L实例 支持的订阅对象 数据订阅的订阅对象可以为：表级订阅。 数据订阅将增量数据细分为数据变更(Data Manipulation Language 简称DML)和结构变更(Data Definition

查看更多 →

数据联接 总览 数据入图

查看更多 →

数据质量 质量检查任务 质量检查报告

查看更多 →

数据探索就是利用 数据可视化 ，探索多来源数据间关系的一种数据分析方法，是为实现数据索引和数据追溯。数据探索功能使用图结构来承载物理产品的数字模型，吸收的各环节相关数据，从而形成伴随物理产品全生命周期的全量数据价值网络，为各环节提供同源数据。数据探索有以下特点： 数据模型图谱可以自然地表现作业过程中产生的数据和数据间关系。

查看更多 →

数据迁移 数据迁移概览 迁移Hive数据至 DLI 迁移Kafka数据至DLI 迁移Elasticsearch数据至DLI 迁移RDS数据至DLI 迁移DWS数据至DLI

查看更多 →

应用配置”，单击页面右上角“创建加密数据”，填写相关参数。 图1 创建加密数据 加密数据以键值对形式存储，其中值需要填写两次。每个加密数据集可以添加多条加密数据。 单击“创建”。 创建后可以查看数据，但出于数据隐私保护，暂不支持查看明文数据。且您可以编辑或删除加密数据。 图2 加密数据 绑定加密数据到边缘节点

查看更多 →

数据导出 由于数据查询只限于服务少量数据的实时查询，数据量大时，需要分页查看，此时，您可通过数据导出功能，快捷获得一次查询的所有数据信息。或者当进行数据备份或迁移时，您也可通过数据导出功能，获取完整的数据信息。 数据管理服务提供数据导出功能，您可以导出整个数据库、部分数据表或者SQL查询结果集。

查看更多 →

数据导入 数据管理服务支持从本地或者OBS桶导入数据，进行数据的备份和迁移。 使用须知 导入单文件大小最大可达1GB。 可以支持导入的数据文件类型包括 CS V格式和CQL文件格式。 暂不支持BLOB类型字段的导入。 导入sql单句需小于100M。 操作步骤 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。

查看更多 →

数据导入 数据管理服务支持从本地或者OBS桶导入数据，进行数据的备份和迁移。 使用须知 当需要进行数据备份或迁移时，您可以将数据导入目标数据表，目标CSV表数据类型须与待导入表数据类型保持一致，SQL文件同理。 导入单文件大小最大可达1GB。 可以支持导入的数据文件类型包括CSV

查看更多 →

数据导入 对象存储导入数据 把原始数据上传至平台前，可将数据包上传至对象存储中，从对象存储导入平台。操作步骤如下： 在左侧菜单栏中，单击“数据处理 > 数据批导”。 选择“数据导入”页签，单击“导入”。 选择“对象存储导入”页签，填写具体信息。 选择目标数据包所在的对象存储路径，

查看更多 →

数据导入 数据导入介绍 数据导入即读取经过“数据结构”生成的数据，对每条数据进行校验。推荐系统保留字段需校验类型和数据合法性、自定义字段校验类型，输出错误报告。如果数据完全符合要求，会生成推荐系统所需要的宽表和画像数据。 宽表：推荐系统内部格式，以行为数据为主，将行为数据中涉及到的用户数据和物品数据整合成一条数据。

查看更多 →

数据探索 数据探索介绍 数据探索是针对当前数据源的数据进行挖掘和分析，主要聚焦在特征的分布范围、统计以及特征齐全度等，使用户能够更了解数据，进而指导在特征工程以及相关算法的配置。 数据探索是一个离线分析任务，任务有对应的启动时间，由于增量数据会实时入库，因此可以通过定时执行数据探索任务来覆盖增量数据。

查看更多 →

描述 数据集简要描述。 数据集状态 按上传的数据是否标注分为“已标注数据集”和“未标注数据集”。数据格式请见数据集要求。 数据上传方式 训练数据上传的方式，当前仅支持把数据上传至OBS，默认为“选择obs文件”。 数据集输入位置 训练数据存储至OBS的位置。 单击“数据集输入位置”右

查看更多 →