中软国际数据治理专业服务解决方案实践

资源存在任一指定的标签 规则详情 表1 规则详情 参数 说明 规则名称 required-tag-exist 规则展示名 资源存在任一指定的标签 规则描述 指定标签列表，不具有任一指定标签的资源，视为“不合规”。 标签 tag 规则触发方式 配置变更 规则评估的资源类型 支持标签的云服务和资源类型

查看更多 →

IAM策略中不存在KMS的任一阻拦action 规则详情 表1 规则详情 参数 说明 规则名称 iam-customer-policy-blocked-kms-actions 规则展示名 IAM策略中不存在KMS的任一阻拦action 规则描述 IAM策略中存在KMS的任一阻拦action，视为“不合规”。

查看更多 →

执行导入数据 背景信息 在执行数据导入前，您可以参考以下优秀实践方法进行合理的设计部署，最大化的使用系统资源，以提高数据导入性能。 OBS的数据导入性能，多数场景受限于网络的并发访问速率，因此在OBS 服务器 上最好部署多个桶，使用多桶并发导入，提高DN数据传输利用率。 并发导入场景

查看更多 →

执行导入数据 完成GDS的安装部署及外表创建后，本节介绍如何在 GaussDB 数据库中创建目标表并将数据导入目标表中。 对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以查看数据倾斜状态，避免导入大量数据后发现数据倾斜，调整成本高。 前提条件 需要确保每一个CN

查看更多 →

数据并行导入 实现原理 数据并行导入（加载）的核心思想是充分利用所有节点的计算能力和I/O能力以达到最大的导入速度。DWS的数据并行导入实现了对指定格式（支持 CS V/TEXT格式）的外部数据高速、并行入库。 所谓高速、并行入库是和传统的使用INSERT语句逐条插入的方式相比较。并行导入过程中：

查看更多 →

执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 导出操作语法 执行数据导出语法： 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本，实现并发批量导出数

查看更多 →

执行导入数据 完成GDS的安装部署及外表创建后，本节介绍如何在GaussDB(DWS)数据库中创建事实表并将数据导入事实表中。 对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。 前提条件

查看更多 →

执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 操作步骤 执行数据导出。 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本，实现并发批量导出数据。并发

查看更多 →

如何配置可以匹配任一字符串的实体？ 系统预置的“system.any”实体只能返回用户整句话，不能实现一句话中的某个槽位返回。如果需要单独获取一句话中的某个槽位，需要进行规则开发。 如果程序员说：加个按钮，长度5厘米，高度2厘米，按钮名称是点击；也可能说，加个按钮，按钮名称是点击

查看更多 →

数据集行合并 概述 多个数据集按照行合并为一个数据集。 输入 参数 子参数 参数说明 inputs dataframe_1 被合并的数据集一 dataframe_2 被合并的数据集二 dataframe_3 被合并的数据集三（可缺省） dataframe_4 被合并的数据集四（可缺省）

查看更多 →

对数据进行脱敏 功能介绍 对数据进行脱敏 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/data/mask 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID 请求参数 表2 请求Header参数

查看更多 →

数据集行过滤 概述 根据过滤条件，对数据集按照行进行过滤。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 参数 子参数 参数说明 output output_port_1

查看更多 →

进行数据同步 操作场景 您可能需要对GaussDB(for MySQL)实例中的某些数据库中的数据进行分析，可以选择使用数据同步功能将GaussDB(for MySQL)中的数据同步到HTAP实例中进行分析。 前提条件 GaussDB(for MySQL)实例需要按照表1进行参数设置。

查看更多 →

运行数据管道 运行数据管道 运行过程监控与数据跟踪（敬请期待） 父主题： 数据管道

查看更多 →

启动作业时，系统会自行判断用户的作业是否需要实时计算资源，若需要实时计算资源，则会弹出如下对话框供用户自行选择： 计算资源：一个计算资源对应的物理资源为：1核CPU、4G内存，可实时清洗的数据量为1000条/S（仅供参考，请结合各自的业务场景与数据大小进行评估）。 并行数：管道作业运行时的实际并发能力，不得超过“计算资源

查看更多 →

数据建模引擎运行服务 应用运行态登录方式概述 体验版运行态登录全流程 基础版运行态登录全流程 基础版运行态登录全流程（边缘云） 部署应用 卸载应用 管理服务访问配置 日常管理数据建模引擎 查看数据建模引擎 删除体验版数据建模引擎 变更基础版数据建模引擎 扩容基础版数据建模引擎 续费基础版数据建模引擎

查看更多 →

从OBS并行导入数据 关于OBS并行导入 从OBS导入CSV、TXT数据 从OBS导入ORC、CARBONDATA数据 父主题： 导入数据

查看更多 →

数据集行去重 概述 “去重”节点用于删除数据集中的重复行（假如有两行相同，保留其中一行）。 对于那些不允许有重复记录输入的节点算法，可以先使用该算法做预处理。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象

查看更多 →

执行数据导入 直接查询外表查看 MRS 数据源的数据 如果数据量较少，可直接使用SELECT查询外表，即可查看到MRS数据源的数据。 执行以下命令，则可以从外表查询数据： 1 SELECT * FROM foreign_product_info; 查询结果显示如数据文件中所示的数据，

查看更多 →

下载数据作业执行日志 功能介绍 下载数据作业执行日志 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/eihealth-pr

查看更多 →

CheckpointRsp objects 数据作业执行日志 表4 CheckpointRsp 参数 参数类型 描述 source String 数据名称 timestamp String 日志时间戳 message String 执行信息 请求示例 获取数据作业执行日志 https://eihealth

查看更多 →