往非常复杂，依赖于源系统和网络，因此在监控检测源系统和 数据湖 的SDI层的数据一致性，可以快速给问题定界定位。 DGC命名规范检测 作业命名 节点命名 脚本命名 环境变量命名 数据连接命名 DGC是 数据治理中心 ，尤其是数据开发模块，数据的ETL脚本的逻辑和任务调度编排均在DGC上。

查看更多 →

作业开发 作业是指将SQL脚本或者数据集成、数据质量作业等进行编排并进行周期性的调度。 脚本作业配置 为了精细化管理和便于运维，ETL作业配置规则如下: 按逻辑数据实体创建调度作业画布。 业务指标用到的逻辑数据实体，将每个逻辑数据实体放在一个画布中，包括ODS层、DWI层、DWR层基础数据，然后按照ODS层作业

查看更多 →

ES-Hadoop导数据时报"Could not write all entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列，超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数（调整到一个

查看更多 →

目标库手动建表 根据需要的表和字段，在 MRS -Hive数据库中建立相应的库和表； 表及字段的命名规范为：ods_源系统简写_源系统表名_{TYPE简码},增量表的type简码为i,全量表的type简码为f,所有的表名称及字段名称小写 标准字段： ext_etl_dt （ETL时间），ext_

查看更多 →

事件网格 EG 创建自定义事件源到https链路 03:35 自定义事件源到https链路演示 事件网格 EG 大数据ETL自动化运维场景解决方案 06:23 大数据ETL自动化运维场景解决方案 事件网格 EG 介绍怎样实现跨账号事件发送 05:07 跨账号事件发送演示

查看更多 →

目标库手动建表 根据需要的表和字段，在MRS-Hive数据库中建立相应的库和表 表及字段的命名规范为：ods_源系统简写_源系统表名_{TYPE简码},全量表的type简码为f,所有的表名称及字段名称小写 标准字段：ext_etl_dt （ETL时间），ext_src_sys_

查看更多 →

Job节点，通过 CDM 节点将OBS上的数据导入到MRS Hive的原始表中。其中CDM集群名称和作业名称分别选择在步骤3：数据集成中的集群和迁移作业（图中仅为示例，以实际集群名和迁移作业名为准）。 图8 source_sdi节点属性 demo_etl_sdi_dwi节点：为MRS Hive SQL节点，用于清洗

查看更多 →

系统视图 DSC将系统视图dbc.columnsV和dbc.IndicesV进行迁移，输出如下结果。 输入： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

查看更多 →

擎（CloudTable和DWS）中，降低整体存储成本。 告警快速敏捷触发 服务器 弹性伸缩：对CPU、内存、硬盘空间和带宽无特殊要求。 建议搭配以下服务使用 DIS、CDM、OBS、DWS、RDS、CloudTable 图2 车企数字化服务转型 大数据ETL处理 运营商大数据分析

查看更多 →

系统函数（Netezza） ISNULL() Netezza语法 迁移后语法 1 2 3 4 5 SELECT A.ETL_DATE, A.BRANCH_CODE, A.CUST_NO , ISNULL ( B.RES_STOCK,0) AS RES_STOCK

查看更多 →

job_id 是 String 作业ID，只能由字母、数字、中划线和下划线组成，并且长度为1～20个字符。 type 是 String 作业类型。 offline_platform 否 Object 计算平台信息，type为etl/recall/filter/standard必填，为其他时不必填。

查看更多 →

MRS Spark MRS Spark Python ETL Job OBS Manager 手动配置血缘时，在节点的“血缘关系”页签，配置血缘的输入和输出表。输入和输出表的所属数据源支持 DLI 、DWS、Hive、 CSS 、OBS和CUSTOM。CUSTOM即自定义类型，在手动配置血

查看更多 →

MRS Spark MRS Spark Python ETL Job OBS Manager 手动配置血缘时，在节点的“血缘关系”页签，配置血缘的输入和输出表。输入和输出表的所属数据源支持DLI、DWS、Hive、 CS S、OBS和CUSTOM。CUSTOM即自定义类型，在手动配置血

查看更多 →

逻辑模型创建 可视化设计 在设计模式中，可以通过图形化拖拉拽方式，按照数仓规划，配置维度模型和事实模型之间的关联关系，以便于数据开发人员在数据开发过程中，能够准确的理解各模型之间的关系并高效准确的设计 ETL 任务。 图9 可视化设计 逆向工程 支持通过数据库导入的方式，快速将外部数据库中的表逆向为逻辑模型，导入到

查看更多 →

信息架构设计 创建信息架构 主题设计 逻辑模型设计 物理模型设计 ETL映射设计 业务指标设计 配置管理 父主题： 设计中心

查看更多 →

按照a==b条件进行计算，返回true或false。a和b类型必须一致，例如都是字符串、数字或者列表。 op_ge 按照a>=b条件进行计算，返回true或false。a和b类型必须一致，例如都是字符串、数字或者列表。 op_gt 按照a>b条件进行计算，返回true或false。a和b类型必须一致，例如都是字符串、数字或者列表。

查看更多 →

在同一个集群内，支持从HDFS导数据到HBase、Phoenix表和Hive表 在同一个集群内，支持从HBase和Phoenix表导数据到HDFS/OBS 导入数据到HBase和Phoenix表时支持使用bulkload和put list两种方式 支持从SFTP/FTP导入所有类型的文件到HDFS，开源只支持导入文本文件

查看更多 →

册类。 序列化功能用在两个地方：序列化任务和序列化数据。Spark任务序列化只支持JavaSerializer，数据序列化支持JavaSerializer和KryoSerializer。 操作步骤 Spark程序运行时，在shuffle和RDD Cache等过程中，会有大量的数据

查看更多 →

册类。 序列化功能用在两个地方：序列化任务和序列化数据。Spark任务序列化只支持JavaSerializer，数据序列化支持JavaSerializer和KryoSerializer。 操作步骤 Spark程序运行时，在shuffle和RDD Cache等过程中，会有大量的数据

查看更多 →

QUIT 0 \q 0 .EXIT \q .RETURN \q .LABEL 和 .GOTO Teradata命令.LABEL用于创建标签，通常与.GOTO配对使用。.GOTO会跳过所有中间的BTEQ命令和SQL语句，指导到达指定标签位置，执行相应的恢复处理。 gsql元命令\goto

查看更多 →

实施管理 数据调研作业 入湖清单管理 CDM作业 ETL Mapping 数据实施质量检查 基础设施部署作业 父主题： 交付中心

查看更多 →