中软国际数据治理专业服务解决方案实践

使用CDL从PgSQL同步数据到Hudi 操作场景 本章节指导用户通过 MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从PgSQL导入数据到Hudi。 前提条件 集群已安装CDL、Hudi服务且运行正常。 PgSQL数据库需要开启前置要

查看更多 →

示例：从MYSQL进行数据迁移 下面示例演示如何通过CopyManager从mysql进行数据迁移的过程。执行示例前，需要加载驱动，驱动的获取和加载方法请参考JDBC包、驱动类和环境类。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

查看更多 →

Streaming从Kafka读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

使用GDS从远端 服务器 导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题： 导入数据

查看更多 →

确保用户已授权访问作业执行时操作的HBase表或phoenix表。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤

查看更多 →

成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在PgSQL数据库中对表进行插入数据操作，然后参考查看Kafka数据生产消费详情进入KafkaUI界面查看Kafka的Topic中是否有数据生成。 父主题： 创建CDL作业

查看更多 →

使用CDL从Hudi同步数据到ClickHouse 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从Hudi导入数据到ClickHouse。 前提条件 集群已安装CDL、Hudi和ClickHouse服务且运行正常。

查看更多 →

获取OBS桶的终端节点。 登录OBS管理控制台。 单击桶名称，左侧选择“概览”，并记录终端节点。 访问终端节点获取 DLI 的终端节点。 本例（华北-北京四）为dli.cn-north-4.myhuaweicloud.com。 获取创建DLI所使用的账号的特定区域的项目ID。 鼠标

查看更多 →

步骤4：创建增强型跨源连接 创建DLI连接Kafka的增强型跨源连接 在Kafka管理控制台，选择“Kafka专享版”，单击对应的Kafka名称，进入到Kafka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”，在“基本信息”的“网络”中获取获取该实例的“虚拟私有云”和“子网”信息，方便后续操作步骤使用。

查看更多 →

确保用户已授权访问作业执行时操作的HBase表或phoenix表。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导入数据时，确保HDFS/OBS输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要

查看更多 →

获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作前需要进行如下配置：

查看更多 →

作该表的权限。 获取MySQL数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。

查看更多 →

使用mysqldump从MySQL导出数据非常缓慢的原因 mysqldump客户端的版本和DDM所支持的MySQL版本不一致，可能会导致从MySQL导出数据非常缓慢。 建议版本保持一致。 父主题： DDM使用类

查看更多 →

参考表1重新选择归档路径，单击“确定”。 “收到的数据”尾部显示的数字如图1中的“3”表示已经收到的所有数据数量。 图1 “收到的数据”尾部数字 为合约配置数据自动更新 数据提供方提供的数据有更新时，数据接收方通过设置自动更新后，数据接收方中的数据即可自动更新。 进入交换数据空间控制台界面，单击“我的空间”，在交换

查看更多 →

管理我的数据 管理本地接入的个人数据 管理外部接收的个人数据 父主题： 数据目录

查看更多 →

选择连接器，单击连接器卡片上的“前往”，进入连接器控制台界面。 选择界面左侧导航栏中的“数据目录”，选择“删除的数据”，进入“删除的数据”界面。 支持单个数据还原以及批量多个数据还原。 还原单个数据。单击已删除数据操作列的“还原”，将数据还原在原归档路径。 批量还原多个数据。勾选需要还原的多个数据，

查看更多 →

查询Job的数据 功能 查询Job的数据。 注意事项 无 调用方法 POST URI /meter/v1/{domain_id}/query-jobs/{job_id}/sdr 路径参数 参数 是否必选 类型 值域 说明 job_id 是 string 正则表达式为^[-_0-9a-zA-Z]{0

查看更多 →

获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作前需要进行如下配置：

查看更多 →

图数据的格式 一般图数据格式 动态图数据格式 父主题： 元数据操作

查看更多 →

常；协助制定合理的协议价政策，优化供应链，降低差旅成本；分析和监控出退改，促进员工制定合理的差旅方案。 路径：数据服务——在线报告 管理员可结合需求，进行时间或具体日期的切换。 明细报表 用于管理员自定义各差旅业务的订单明细数据表，作为进一步分析差旅业务情况的数据源。 注意：订单

查看更多 →

大屏数据处理应用模板 描述 大屏数据处理应用模板，可配合组件资产“大屏Demo”使用。 开放能力 大屏数据处理应用模板为APP资产，提供服务能力。 服务 说明 getTodayForDmax 该服务用于获取当天时间。 getTaskStatusNum 该服务用于获取各任务状态的具体数量。

查看更多 →