# Apache RocketMQ数据源
Apache RocketMQ是一个开源的分布式消息中间件，具有低延迟、高吞吐、高可用和强一致性的特点，广泛用于大规模分布式系统的异步通信与解耦。
本数据集成服务支持Apache RocketMQ产品，支持结构化数据源、半结构化数据源等数据迁移写入能力。
#### 使用前准备及限制
- **网络要求**
  Apache RocketMQ数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见[网络打通](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7765.html)。
  
- **权限** **要求**
  **写入权限** ：当前数据集成仅支持写入Apache RocketMq数据源，数据集成服务作为Producer 向RocketMQ写入数据时，必须拥有目标Topic的**Produce（生产）权限**，否则将无法发送消息。
  
- **端口放通**
  **NameServer服务端口：9876（TCP）**------用于数据集成与Apache RocketMq进行数据传输。
  
 
#### 支持的迁移场景
数据集成离线同步支持以下三种同步方式，以满足不同数据迁移场景的需求：
- **单表同步**
  适用于数据入湖和数据上云场景下，表或文件级别的数据同步。
  
- **分库分表同步**
  适用于数据入湖和数据上云场景下，多库多表同步场景。
  
- **整库迁移**
  适用于数据入湖和数据上云场景下，离线或自建数据库整体同步场景。
  
需要注意的是，分库分表与整库迁移能力会根据不同region的上线支持情况有所不同，具体支持情况以页面为准。以下是针对Apache RocketMQ的支持迁移场景概览：
| 支持迁移场景 | 单表读取 | 单表写入 | 分库分表读取 | 分库分表写入 | 整库读取 | 整库写入 |
|:---|:---|:---|:---|:---|:---|:---|
| 是否支持   | x    | √    | x      | √      | x    | x    |
   
#### 核心能力速览
- **连接配置**
  
  | 配置项         | 支持情况 | 说明                                                                                    |
  |:---|:---|:---|
  | AKSK认证      | x    | RocketMQ从**4.4.0版本** 开始，正式引入了**ACL机制** ，支持基于**AccessKey/SecretKey**的身份认证与权限控制。当前暂不支持。 |
  | SSL/TLS加密传输 | x    | 可为Broker开启TLS，保障通信安全。当前暂不支持。                                                          |
     
  
- **写入能力**
  
  | 配置项    | 支持情况     | 说明                                 |
  |:---|:---|:---|
  | 数据类型解析 | JSON/CSV | 支持写入JSON和CSV格式的数据。                 |
  | 并发写入   | √        | 并发写入可以充分利用集群资源，提高数据写入的速度。          |
  | 脏数据能力  | x        | 支持异常数据写入脏数据桶，避免因少量异常数据导致作业失败，暂不支持。 |
     
  
 
#### 创建数据源
在DataArts Studio管理中心新建相应的数据源，详情请参见[创建DataArts Studio数据连接](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0009.html)。
#### 创建数据集成离线作业
在DataArts Studio数据开发中新建Apache RocketMQ集成作业，详情请参见[新建离线处理集成作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1458.html)。