Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题： Hudi应用开发规范

查看更多 →

Hudi数据表Archive规范 Archive（归档）是为了减轻Hudi读写元数据的压力，所有的元数据都存放在这个路径：Hudi表根目录/.hoodie目录，如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive。

查看更多 →

Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题： DLI Hudi开发规范

查看更多 →

Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题： DLI Hudi开发规范

查看更多 →

，并在项目工程中将这些Jar包添加到依赖路径中。 数据表复制样例代码 用户可以根据实际的业务需求基于HBase API开发应用程序，复制表数据到集群。以下样例代码，可供用户参考。 以下样例代码的场景是将一个集群的表数据复制到另一个集群中。 package com.huawei.cloudtable

查看更多 →

表，但是在物理层面上将数据存储在多个文件。 表中的列不要太多，尽量做到冷热数据分离，减小表的宽度，以便在一页内存中容纳更多的行，进而减少磁盘IO，更有效的利用缓存。 经常一起使用的列尽量放到一个表中，避免过多的关联操作。 禁止在表中建立预留字段，否则修改列的类型会导致锁表，修改一个字段类型的成本要高于增加一个字段。

查看更多 →

GaussDB (for MySQL)数据库安全设置 账户密码等级设置 GaussDB(for MySQL)管理控制台上数据库密码复杂度，请参见购买实例中的数据库配置表格。 GaussDB(for MySQL)对在客户端新创建的数据库用户，设置了密码安全策略： 口令长度至少8个字符。

查看更多 →

云数据库RDS for MySQL接入LTS 支持云数据库RDS for MySQL日志接入LTS。 具体接入方法请参见日志配置管理。 父主题： 使用云服务接入LTS

查看更多 →

数据同步验证 连接Mysql数据源，在源端数据表中插入一条数据。 连接Oracle数据源，根据定时器设置的同步时间间隔等待一分钟，在目标端数据表中查看源端插入的数据是否已同步到Oracle。 父主题： 定时同步MySQL中的数据到Oracle

查看更多 →

根据步骤一：准备MySQL数据库中创建的MySQL数据库选择的区域。 IPv4地址 根据步骤一：准备MySQL数据库中创建的MySQL数据库的访问地址和端口。 添加读库地址 单击添加读库数据库地址。 填写数据库配置，输入监控和连接的MySQL数据库名称，完成后单击“下一步：高级配置”。

查看更多 →

--hive-import 表示从关系型数据库中导入数据到 MRS Hive中。 --delete-target-dir 若Hive中已存在目标文件，则先删除该文件再导入。 -append 将数据追加到hdfs中已经存在的dataset中。使用该参数，sqoop将把数据先导入到一个临时目录中，然后重新给文件

查看更多 →

操作也不相同。数据库中的数据存储在数据表中。数据表中的每一列都定义了数据类型，用户存储数据时，须遵从这些数据类型的属性，否则可能会出错。下表列出了MySQL数字类型到GaussDB(DWS)的转换示例。 类型对照 表1 数字类型对照表 MySQL数字类型 MySQL INPUT GaussDB(DWS)

查看更多 →

性（这些字段在MySQL实例中要能成功创建出唯一索引）；可以单击“上移”和“下移”调整各字段在键（Key）中的先后顺序。 图5 键（Key）设置 设置完成后，会在界面中显示键（Key）的构成方式，如下图所示： 图6 键（Key） 配置加速实例的域-值。 将源实例中需要的字段，右移到加速实例的字段中。

查看更多 →

表，但是在物理层面上将数据存储在多个文件。 表中的列不要太多，尽量做到冷热数据分离，减小表的宽度，以便在一页内存中容纳更多的行，进而减少磁盘IO，更有效的利用缓存。 经常一起使用的列尽量放到一个表中，避免过多的关联操作。 禁止在表中建立预留字段，否则修改列的类型会导致锁表，修改一个字段类型的成本要高于增加一个字段。

查看更多 →

WDR Snapshot 数据表 WDR Snapshot数据表命名原则： snap_{源数据表}。 WDR Snapshot数据表来源为DBE_PERF Schema下的视图，WDR Snapshot在启动后（打开GUC参数enable_wdr_snapshot）会触发创建WDR

查看更多 →

WDR Snapshot 数据表 WDR Snapshot数据表命名原则：snap_{源数据表}。 WDR Snapshot数据表来源为DBE_PERF Schema下的视图。 初始用户或者监控管理员用户具有权限查看WDR Snapshot数据表。 父主题： WDR Snapshot

查看更多 →

ean清理，增加存储压力。 CPU与内存比例为1:4~1:8。 Compaction作业是将存量的parquet文件内的数据与新增的log中的数据进行合并，需要消耗较高的内存资源，按照之前的表设计规范以及实际流量的波动结合考虑，建议Compaction作业CPU与内存的比例按照1

查看更多 →

Plan能够被成功执行，Compaction Plan只是记录了Hudi表中哪些Log文件要和哪些Parquet文件合并，所以最重要的地方在于保证Compaction Plan在被执行的时候它需要合并的文件都存在。而Hudi表中只有Clean操作可以清理文件，所以建议Clean的触发阈值（hoodie

查看更多 →

作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 YASHAN连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 yashan_link 数据库 服务器 配置为要连接的数据库的IP地址或 域名 。

查看更多 →

新建MySQL数据连接 如果您需要连接自建的MySQL数据库，您需要先创建一个MySQL数据连接。 前提条件 您已获取MySQL数据源的地址、端口以及数据库用户名和密码，且该用户必须具备所需连接的数据库的查询（SELECT）权限。 为了使 DLV 大屏与MySQL数据源网络互通，您可

查看更多 →

DIS通道（创建DIS通道）和SMN主题（创建SMN主题）创建完成后，我们就可以在DLI中构建告警通知工程。 在DLI中创建一个Flink作业，作业名称为“test”。 图7 创建Flink SQL作业 编辑1中创建的Flink SQL作业，在SQL编辑器中输入语句。 图8 编辑Flink SQL作业 SQL语句实现的功能：

查看更多 →