WDR Snapshot数据表 WDR Snapshot数据表命名原则：snap_{源数据表}。 WDR Snapshot数据表来源为DBE_PERF Schema下的视图，WDR Snapshot在启动后（打开GUC参数enable_wdr_snapshot）会触发创建WDR Snapshot数据表。

查看更多 →

WDR Snapshot数据表 WDR Snapshot数据表命名原则：snap_{源数据表}。 WDR Snapshot数据表来源为DBE_PERF Schema下的视图，WDR Snapshot在启动后（打开GUC参数enable_wdr_snapshot）会触发创建WDR Snapshot数据表。

查看更多 →

Hudi数据表Compaction规范 mor表更新数据以行存log的形式写入，log读取时需要按主键合并，并且是行存的，导致log读取效率比parquet低很多。为了解决log读取的性能问题，Hudi通过compaction将log压缩成parquet文件，大幅提升读取性能。 规则

查看更多 →

Hudi数据表Clean规范 Clean也是Hudi表的维护操作之一，该操作对于MOR表和COW表都需要执行。Clean操作的目的是为了清理旧版本文件（Hudi不再使用的数据文件），这不但可以节省Hudi表List过程的时间，也可以缓解存储压力。 规则 Hudi表必须执行Clean。

查看更多 →

主题设计 主题设计是通过分层架构表达对数据的分类和定义，帮助厘清数据资产，明确业务领域和业务对象的关联关系。 单击左侧导航栏“主题设计”并进入主题设计页面。 图1 主题设计1 单击导入，单击下载主题导入模板。 图2 主题设计2 下载模板如下： 表1 下载模板 上级流程 *名称 *编码

查看更多 →

设计中心 方案里的流程图可以修改吗？ 如何移动画布？ 图元被线框框住无法选中怎么办？ 如何复制架构？ 设计阶段的方案还能编辑吗？ 架构设计时有些图元搜索不到。 如何新建部署架构？ 部署架构的删除按钮为什么是置灰的？ 解决方案工作台如何体现项目依赖的其他资源信息？ 设计中心页面为什么没有提交审核按钮？

查看更多 →

设计流程 需求理解 设计思路 设计原则 总体架构

查看更多 →

API设计 项目概况 API设计 接口审核 编辑模式与API规范检查 公共模型 Markdown设计 API调试 脚本能力

查看更多 →

Markdown设计 新建Markdown，可通过以下三种方式完成。 方法一：单击目录树搜索框右侧的，在弹出的下拉框中，选择“新建Markdown”。 方法二：在目录树中选择一个目录，单击右侧图标，在弹出的下拉框中，选择“新建Markdown”。 进入“新建标签页”，在该标签页可

查看更多 →

http类型接口。 设计API 接口文档应针对以下要素进行设计： 接口基本信息 接口路径 请求方式 接口请求参数 接口返回响应 安全方案 接口基本信息 填写接口的基本信息，包括： 名称：接口名称。 摘要：接口的摘要信息。 状态：API生命周期的状态，包括设计中、联调中、测试中、测试完、已发布、将废弃、已废弃。

查看更多 →

约束设计 DEFAULT和NULL约束 如果能够从业务层面补全字段值，那么，不建议使用DEFAULT约束，避免数据加载时产生不符合预期的结果。 给明确不存在NULL值的字段加上NOT NULL约束，优化器会在特定场景下对其进行自动优化。 给可以显式命名的约束显式命名。除了NOT

查看更多 →

设计DAG 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车 如果两辆车都通过相同序列的收费站，

查看更多 →

标准设计 新建码表 新建数据标准 父主题： 数据架构

查看更多 →

依次新建更多的流程或子流程。一般需要设计L1~L3三层流程。第一层标识为L1层，第二层标识为L2层，第三层标识为L3。 示例如下： 图3 流程设计示例 导出流程 您可以将数据架构中已创建的流程导出到文件中。 在数据架构控制台，单击左侧导航树中的“流程设计”，进入流程设计页面。 单击流程列表上方

查看更多 →

I请求可以涉及多个数据源，例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明，假设数据API有数据源1和数据源2，user01是数据源1的数据表和user02是数据源2的数据表，两张表的结构如下： 表1 表结构 数据源 表名 参数 数据源1 user01 id（int）

查看更多 →

数据表复制样例代码 用户可以开发应用程序，通过调用HBase API接口的方式，将一个表的部分数据或全部数据复制到同一个集群或另一个集群中。目标表必须预先存在。 环境准备 要将表复制到另一个集群，请先获取CloudTable目标集群的“ZK链接地址（内网）”。 登录 表格存储服务 管

查看更多 →

Hudi数据表Archive规范 Archive（归档）是为了减轻Hudi读写元数据的压力，所有的元数据都存放在这个路径：Hudi表根目录/.hoodie目录，如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive。

查看更多 →

Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题： DLI Hudi开发规范

查看更多 →

WDR Snapshot 数据表 WDR Snapshot数据表命名原则： snap_{源数据表}。 WDR Snapshot数据表来源为DBE_PERF Schema下的视图，WDR Snapshot在启动后（打开GUC参数enable_wdr_snapshot）会触发创建WDR

查看更多 →

WDR Snapshot 数据表 WDR Snapshot数据表命名原则：snap_{源数据表}。 WDR Snapshot数据表来源为DBE_PERF Schema下的视图。 初始用户或者监控管理员用户具有权限查看WDR Snapshot数据表。 父主题： WDR Snapshot

查看更多 →

Hudi数据表Compaction规范 mor表更新数据以行存log的形式写入，log读取时需要按主键合并，并且是行存的，导致log读取效率比parquet低很多。为了解决log读取的性能问题，Hudi通过compaction将log压缩成parquet文件，大幅提升读取性能。 规则

查看更多 →