通性分别根据HBase和Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 参考 MRS HBase的使用，通过HBase shell在HBase中创建相应的表，表名为order，表中只有一个列族detail，创建语句如下： create 'order'

查看更多 →

Kafka结果表 功能描述 DLI 通过Kafka结果表将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件

查看更多 →

Kafka结果表 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集

查看更多 →

SMN结果表 功能描述 DLI将Flink作业的输出数据输出到消息通知服务（SMN）中。 消息通知服务（Simple Message Notification，简称SMN）为DLI提供可靠的、可扩展的、海量的消息处理服务，它大大简化系统耦合，能够根据用户的需求，向订阅终端主动推送

查看更多 →

参数说明 表1 参数说明 参数 是否必选 说明 connector 是 固定为print。 print-identifier 否 配置一个标识符作为输出数据的前缀。 standard-error 否 该值只能为true或false，默认为false。 若为true，则表示输出数据

查看更多 →

。 在建立增强型跨源连接时，需要将MRS集群中的/etc/hosts主机和ip映射信息添加到“主机信息”参数中。 当配置项支持参数化时，表示将记录中的一列或者多列作为该配置项的一部分。例如当配置项设置为car_${car_brand}时，如果一条记录的car_brand列值为BM

查看更多 →

BS桶，方便后续查看作业日志。 如果JDBC结果表定义了主键，则连接器以upsert模式运行，否则，连接器以Append模式运行。 upsert模式：Flink会根据主键插入新行或更新现有行，Flink可以通过这种方式保证幂等性。为保证输出结果符合预期，建议为表定义主键。 Append模式：Flink

查看更多 →

性分别根据HBase和Kafka的地址测试队列连通性。如果能连通，则表示跨源已经绑定成功，否则表示未成功。 参考MRS HBase的使用，通过HBase shell在HBase中创建相应的表，表名为order，表中只有一个列族detail，创建语句如下： create 'order'

查看更多 →

当作为BATCH应用程序运行时，Flink将写 Hive表，仅在作业完成时使这些记录可见。BATCH 写入支持追加和覆盖现有表。 STREAMING 不断写入，向Hive添加新数据，以增量方式提交记录使其可见。用户控制何时/如何触发具有多个属性的提交。流式写入不支持插入覆盖。有关可用配置的完整列表，请参阅流式处理接收器。Streaming

查看更多 →

增量同步支持表的重命名，源表和目标表必须都在对象选择里。 已选择的表与未选择的表之间互相rename的DDL操作，在任务同步中会被过滤掉，可能会导致任务失败或数据不一致。 对于一个DDL中存在一个rename的情况（例如：rename A TO B），只支持rename前后库表都在已选

查看更多 →

不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 不允许源数据库DDM正在同步的表做改变拆分键的操作，也不允许将单表/广播表改为拆分表，拆分表改为单表/广播表。 全量同步阶段： 全量数据同步阶段，目标数据库会产生大量Binlog引起磁盘空间占用过大，因此在全量

查看更多 →

不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 不允许源数据库DDM正在同步的表做改变拆分键的操作，也不允许将单表/广播表改为拆分表，拆分表改为单表/广播表。 全量同步阶段： 全量数据同步阶段，目标数据库会产生大量Binlog引起磁盘空间占用过大，因此在全量

查看更多 →

同步到kafka partition策略。 按库名+表名的hash值投递到不同Partition：适用于单表的查询场景，表内保序，表与表之间不保序，可以提高单表读写性能，推荐使用此选项。 全部投递到Partition 0：适用于有事务要求的场景，事务保序，可以保证完全按照事务顺序消费，写入性

查看更多 →

为一致。 由于无主键表缺乏行的唯一性标志，网络不稳定时涉及少量重试，表数据存在少量不一致的可能性。 对于表中的物理生成列，如果列是根据一个时间类型生成的，会存在此列数据不一致的可能性。 若源库表开启了TDE透明数据加密，目标库也需要开启TDE特性，否则会导致表结构创建失败，任务异常。

查看更多 →

创建结果表 ClickHouse结果表 Kafka结果表 Upsert Kafka结果表 DIS结果表 JDBC结果表 DWS结果表 Redis结果表 SMN结果表 Hbase结果表 Elasticsearch结果表 OpenTSDB结果表 userDefined结果表 Print结果表

查看更多 →

DIS结果表 功能描述 DLI将Flink作业的输出数据写入 数据接入服务 （DIS）中。适用于将数据过滤后导入DIS通道，进行后续处理的场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外

查看更多 →

参数说明 表1 参数说明 参数 是否必选 说明 connector 是 固定为print。 print-identifier 否 配置一个标识符作为输出数据的前缀。 standard-error 否 该值只能为true或false，默认为false。 若为true，则表示输出数据

查看更多 →

FileSytem结果表 功能描述 FileSystem结果表用于将数据输出到分布式文件系统HDFS或者 对象存储服务 OBS等文件系统。数据生成后，可直接对生成的目录创建非DLI表，通过DLI SQL进行下一步处理分析，并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。

查看更多 →

BS桶，方便后续查看作业日志。 如果JDBC结果表定义了主键，则连接器以upsert模式运行，否则，连接器以Append模式运行。 upsert模式：Flink会根据主键插入新行或更新现有行，Flink可以通过这种方式保证幂等性。为保证输出结果符合预期，建议为表定义主键。 Append模式：Flink

查看更多 →

创建结果表 ClickHouse结果表 Kafka结果表 Upsert Kafka结果表 DIS结果表 JDBC结果表 DWS结果表 Redis结果表 SMN结果表 Hbase结果表 Elasticsearch结果表 OpenTSDB结果表 userDefined结果表 Print结果表

查看更多 →

参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型，‘jdbc’表示使用JDBC connector，必须为jdbc connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector

查看更多 →