中软国际数据治理专业服务解决方案实践

ETL映射设计 ETL映射设计用于将数据从源系统抽取出来，经过清洗、转换、加载等一系列操作后，将数据加载到目标系统的过程。解决方案工作台支持SDI、DWI和DWR层物理表、支持多种数据库、支持生成脚本等。 新建ETL映射 图1 新建ETL映射 参数 说明 映射名称 自定义 数据库数据类型

查看更多 →

ETL Job 功能 通过ETL Job节点可以从指定数据源中抽取数据，经过数据准备对数据预处理后，导入到目标数据源。 目标端是DWS的ETL Job节点，不支持使用委托进行调度，建议采用兼容性更佳的公共IAM账号方式进行调度，详见配置调度身份。 参数 用户可参考表1，表2和表3配置ETL

查看更多 →

ETL Mapping ETL Mapping用到了数据治理中心 DataArts Studio ，它是针对企业数字化运营诉求提供的具有数据全生命周期管理和智能数据管理能力的一站式治理运营平台。解决方案工作台集成DataArts Studio，支持将方案设计中“ETL映射设计”部分形成的ETL脚本同步到DataArts

查看更多 →

事件网格 EG 创建自定义事件源到https链路 03:35 自定义事件源到https链路演示 事件网格 EG 大数据ETL自动化运维场景解决方案 06:23 大数据ETL自动化运维场景解决方案 事件网格 EG 介绍怎样实现跨账号事件发送 05:07 跨账号事件发送演示

查看更多 →

ISDP+集成方式包含数据集成、页面集成、服务集成和设备集成四类，通过ISDP+集成方式可以快速了解ISDP+提供的集成能力，以及如何集成。 数据集成 ISDP+提供API与ETL两种模式的数据集成：API面向实时数据集成需求，由报表中心提供预先设计好的API，从业务库提供数据；ETL面向非实

查看更多 →

车企数字化服务转型 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构化的消息通信数据，同时对数据的时效性有很高的要求， DLI 服务提供批处理、流处理等多模引擎，打破数据孤岛进行统一的数据分析。 优势 大数据ETL：具备TB~EB

查看更多 →

实例管理、补数据监控及配置环境变量 实例管理 作业手动调度或者周期性启动调度都会创建一个新的实例，在实例管理中可以查看每次运行的作业实例，可以查看日志，节点运行时间。 补数据监控 周期性的调度如果有执行失败，可以针对作业创建补数据任务，制定日期范围和作业的指定节点。 配置环境变量

查看更多 →

置的拖拽连线和数据处理，最后拖拽输出数据集，并进行连线。左上角编辑名称后右上角单击保存就完成了数据处理。 图18 选择数据表 图19 输出数据集 ETL运行更新时间 数据中心智能ETL中选择要设置更新的ETL并点开，选择ETL更新，有三种选择：手动、定时、勾选的数据集更新后。选择

查看更多 →

是将数据转化为目标系统所需的结构和格式，并进行必要的数据处理和修正。 加载（Load）：在这个阶段，经过转换后的数据被加载到目标系统中，通常是一个数据仓库或数据湖。加载的过程需要考虑数据的完整性、一致性和可用性。这可能涉及到数据验证、数据校验、数据分区等操作，以确保数据的质量和可靠性。

查看更多 →

免费版：基于DLI的电商BI报表数据开发流程 DLI 免费版 数据开发 对数据全生命周期管理的流程诉求较低，需要全托管的大数据调度能力，适用于开发者试用、小规模验证等场景。 初级版：基于DWS的电影评分数据集成与开发流程 DWS 初级版 数据集成+数据开发 用于大数据开发场景的数据ETL任务管理等场

查看更多 →

； 从数据调研导入：若已对源系统做了数据调研且要建模的业务对象与调研数据结构一致，则可从数据调研中选择相应的数据进行导入。例如，通过数据调研，本实践可获取到源端要进行迁移入湖的数据结构，且目标端 MRS Hudi（SDI层）与要同步的源端数据结构一致，因此本实践通过“从数据调研导入”的方式新建表。

查看更多 →

排均在DGC上。因此，一个规范统一的命名规范显得尤为重要，统一而规整，加强数据治理的专业性。 脚本规范检测 脚本注释 排版规范 语句规范 脚本承载着数据ETL的逻辑，定期运行。增强脚本的可读性，有助于数据开发阶段的人员定位问题、交流以及后期的运维。 DGC作业监控 作业运行时间监控

查看更多 →

概述与连接管理 概述 数据开发包含脚本开发和作业调度，脚本开发主要是指SQL的ETL脚本，数据从贴源层到集市层的加工和流动，作业是对数据入湖、ETL脚本、数据质量等进行时间编排和按照计划周期性执行。 连接管理 登录管理中心 > 单击右侧数据连接 > 单击创建数据连接 > 选择对应的数据库类型 >

查看更多 →

数据分析 DLI应用于海量的日志数据分析和大数据ETL处理，助力各行业使能数据价值。当前数据分析最佳实践内容如下： 使用DLI进行车联网场景驾驶行为数据分析，具体请参考使用DLI进行车联网场景驾驶行为数据分析。 使用DLI将 CS V数据转换为Parquet数据，具体请参考使用DL

查看更多 →

数据交换平台管理端 组件说明 交换管理端用于对交换节点的统一管控，包括数据源的新增修改、作业的批量生成、作业的启动停止、作业状态的监控、作业执行情况的监控等。 图1 组件说明 数据库还原 在 MySQL 实例上面创建数据库，数据库名称为 dxp； 从数据交换管理平台部署包中复制出

查看更多 →

作业是指将SQL脚本或者数据集成、数据质量作业等进行编排并进行周期性的调度。 脚本作业配置 为了精细化管理和便于运维，ETL作业配置规则如下: 按逻辑数据实体创建调度作业画布。 业务指标用到的逻辑数据实体，将每个逻辑数据实体放在一个画布中，包括ODS层、DWI层、DWR层基础数据，然后按照ODS层作业

查看更多 →

迁移后语法 1 2 3 4 5 SELECT t1.etl_date, substr(t1.attribute,1,1) attribute , t1.cust_no, t1.branch_code FROM ( SELECT etl_date,attribute,cust_no

查看更多 →

脚本命名 环境变量命名 数据连接命名 DGC是数据治理中心，尤其是数据开发模块，数据的ETL脚本的逻辑和任务调度编排均在DGC上。因此，一个规范统一的命名规范显得尤为重要，统一而规整，加强数据治理的专业性。 脚本规范检测 脚本注释 排版规范 语句规范 脚本承载着数据ETL的逻辑，定期运行

查看更多 →

入口路径：控制台 > 数据开发 单击“数据开发”，进入数据开发的界面 新建Spark SQL脚本 图10 数据开发1 选择数据连接和数据库 图11 数据开发2 添加表头注释 设置脚本参数 开发增转全脚本 增转全规则：通过增量时间戳获取180天的增量数据，然后将增量数据和180天前的数据进行整合，存放在新生成的分区里。

查看更多 →

全量数据同步 针对数据增长缓慢、非核心业务相关、无时间戳、无增删改标识、数据量低于十万条的明细表数据，以及码表、维度表等数据，采用全量同步的方式接入数管平台，并存放在贴源层的全量表内。数据初始化全量同步是指第一次从业务源库中采用全量同步的方式获取一次数据。 确定数据源 通过调研获

查看更多 →

成整个数据的处理分析流程。 在DataArts Studio数据开发模块中，您将完成以下步骤： 数据管理 脚本开发 作业开发 历史数据到源数据表，使用数据集成将历史数据从OBS导入到SDI贴源层的原始数据表。 历史数据清洗，使用数据开发的MRS Hive SQL脚本将源数据表清洗之后导入DWI层的标准出行数据表。

查看更多 →