Apache RocketMQ数据源
Apache RocketMQ是一个开源的分布式消息中间件，具有低延迟、高吞吐、高可用和强一致性的特点，广泛用于大规模分布式系统的异步通信与解耦。
本数据集成服务支持Apache RocketMQ产品，支持结构化数据源、半结构化数据源等数据迁移写入能力。
使用前准备及限制
- 网络要求
Apache RocketMQ数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。
- 权限要求
写入权限：当前数据集成仅支持写入Apache RocketMq数据源，数据集成服务作为Producer 向RocketMQ写入数据时，必须拥有目标Topic的Produce（生产）权限，否则将无法发送消息。
- 端口放通
NameServer服务端口：9876（TCP）——用于数据集成与Apache RocketMq进行数据传输。
支持的迁移场景
数据集成离线同步支持以下三种同步方式，以满足不同数据迁移场景的需求：
- 单表同步
适用于数据入湖和数据上云场景下，表或文件级别的数据同步。支持的数据源类型请参考单表支持的数据源类型。
- 分库分表同步
适用于数据入湖和数据上云场景下，多库多表同步场景。支持的数据源类型请参考分库分表同步支持的数据源类型。
- 整库迁移
适用于数据入湖和数据上云场景下，离线或自建数据库整体同步场景。支持的数据源类型请参考整库同步支持的数据源类型。
需要注意的是，分库分表与整库迁移能力会根据不同region的上线支持情况有所不同，具体支持情况以页面为准。以下是针对Apache RocketMQ的支持迁移场景概览：
|
支持迁移场景 |
单表读取 |
单表写入 |
分库分表读取 |
分库分表写入 |
整库读取 |
整库写入 |
|---|---|---|---|---|---|---|
|
是否支持 |
x |
√ |
x |
√ |
x |
x |
核心能力速览
- 连接配置
配置项
支持情况
说明
AKSK认证
x
RocketMQ从4.4.0版本开始，正式引入了ACL机制，支持基于AccessKey/SecretKey的身份认证与权限控制。当前暂不支持。
SSL/TLS加密传输
x
可为Broker开启TLS，保障通信安全。当前暂不支持。
- 写入能力
配置项
支持情况
说明
数据类型解析
JSON/CSV
支持写入JSON和CSV格式的数据。
并发写入
√
并发写入可以充分利用集群资源，提高数据写入的速度。
脏数据能力
x
支持异常数据写入脏数据桶，避免因少量异常数据导致作业失败，暂不支持。
创建数据源
在DataArts Studio管理中心新建相应的数据源，详情请参见创建DataArts Studio数据连接。
创建数据集成离线作业
在DataArts Studio数据开发中新建Apache RocketMQ集成作业，详情请参见新建离线处理集成作业。
