Hudi数据表Compaction规范 mor表更新数据以行存log的形式写入，log读取时需要按主键合并，并且是行存的，导致log读取效率比parquet低很多。为了解决log读取的性能问题，Hudi通过compaction将log压缩成parquet文件，大幅提升读取性能。 规则

查看更多 →

Hudi数据表Clean规范 Clean也是Hudi表的维护操作之一，该操作对于MOR表和COW表都需要执行。Clean操作的目的是为了清理旧版本文件（Hudi不再使用的数据文件），这不但可以节省Hudi表List过程的时间，也可以缓解存储压力。 规则 Hudi表必须执行Clean。

查看更多 →

选择在创建MySQL原始数据表中创建的vertex_user表。然后单击“下一步”。 图9 vertex_user_obs2rds作业配置 在字段映射中，检查字段映射顺序是否正确。如果字段映射顺序正确，单击下一步即可。 图10 vertex_user_obs2rds字段映射 任务配置无需修改，直接保存并运行即可。

查看更多 →

Hudi数据表Archive规范 Archive（归档）是为了减轻Hudi读写元数据的压力，所有的元数据都存放在这个路径：Hudi表根目录/.hoodie目录，如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive。

查看更多 →

Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题： DLI Hudi开发规范

查看更多 →

Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题： DLI Hudi开发规范

查看更多 →

Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题： Hudi应用开发规范

查看更多 →

如果您不准备使用样例代码的工程，需要将下载的样例代码中“cloudtable-example\lib”目录下的jar包拷贝到您的项目中，并在项目工程中将这些Jar包添加到依赖路径中。 数据表复制样例代码 用户可以根据实际的业务需求基于HBase API开发应用程序，复制表数据到集群。以下样例代码，可供用户参考。 以下

查看更多 →

功能。 约束与限制 若MySQL数据库为主从模式，不支持使用MySQL从库。 不支持采集二进制类型的字段，例如：TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB。 不支持采集DATETIME(6)字段。 操作步骤 建议由数据库管理员进行CDC功能的配置操作，以下配置以Linux环境为例进行说明。

查看更多 →

在具体的数据资产元数据明细里，可以查看字段信息、索引信息、存储情况概览、存储分区信息、以及变更信息。 图2 元数据明细1 支持以下载的方式导出数据表的元数据； 图3 元数据明细2 元数据版本 在变更信息中，可以查看元数据的版本列表，不同版本的元数据明细及差异比对。每次采集元数据后，如数据表的元数据与上次

查看更多 →

r上发布。 表1 企业税收和资助金情况表tax 列名 含义 字段分类 Id 企业id 唯一标识 tax_bal 税收 敏感 Industry 行业类型 不敏感 表2 企业政府资助金数据表support 列名 含义 字段分类 Id 企业id 唯一标识 supp_bal 资助金的金额

查看更多 →

暂不支持复制日期字段，您可以将日期字段转成文本类型后，再复制字段。 进入字段配置的页面，字段配置的入口如下所示： 在字段列表区，单击字段后的配置字段。 在数据预览区，单击字段后的配置字段。 图2 配置字段 填入字段配置的参数，参数说明如表1所示。 表1 配置项说明 功能名 说明 编辑 对字段的名称和描述内容进行编辑。

查看更多 →

增加常量字段 概述 “增加常量字段”算子，用于直接生成常量字段。 输入与输出 输入：无 输出：常量字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 配置字段 配置常量字段相关信息： 输出字段名：配置字段名。 类型：配置字段类型。 时间格式：字段类型为“DAT

查看更多 →

设置字段转发 DDoS高防支持为接入的 域名 配置header字段转发，将添加的字段插入到header中转给源站。 通过在回源请求中添加header字段，可以标记经过DDoS高防的请求，用于服务统计分析。 约束与限制 最多支持配置8个Key/Value值。 配置的Key值不能跟nginx原生字段重复。

查看更多 →

字段操作函数 本文介绍字段操作函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时，返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields

查看更多 →

据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 云搜索服务 和Elasticsearch数据源约束 CDM 支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 索引下的字段类型创建后不能修改，只能创建新字段。 如果一定要修改字段类型，

查看更多 →

通过输入自定义的枚举值，校验数据表中指定字段的合法情况。 字段长度校验 DLI、DWS、GBASE、HETUENGINE 通过输入字段长度范围，校验表中字段是否在允许范围内。 字段值范围校验 通过输入字段值范围，校验表中字段值是否在允许范围内。 字段时间校验 通过输入字段时间范围，校验表中字段时间是否在允许范围内。

查看更多 →

，可以选择其他服务名称。 字段列表 - 单击“添加字段”，定义逻辑主体中的字段，可多次单击“添加字段”添加多个字段。 设置字段信息，其中英文名称和类型为必填参数。 数据表 - 单击“新增”，选择逻辑主体使用的数据表。 选择数据表时需要设置“将所有字段添加至逻辑主体”，如果设置为是

查看更多 →

单击“执行”创建与RDS MySQL 同步的数据表。刷新页面，即可查看数据表的创建结果。 图10 创建同步数据表 图11 查看执行结果 插入数据。选中如图所示的SQL语句，单击“执行”即可插入数据到event_records表，并同步写入到RDS数据表中。 图12 插入数据 查看

查看更多 →

MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 RDS for MySQL RDS for MySQL 数据库账号权限要求 使用DRS创建录制回放任务时，连接源和目标数据库账号的权限建议保持一致，再启动任务。 使用须知 为了确保录制回放任务

查看更多 →

MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 E CS 自建MySQL 5.5、5.6、5.7、8.0版本 本地自建MySQL5.5、 5.6、5.7、8.0版本 其他云上MySQL 5.5、5.6、5.7、8.0版本 RDS for MySQL

查看更多 →