各数据源脏数据的支持情况
在数据集成过程中,可能会因数据类型不匹配、格式错误、约束冲突等原因产生脏数据。CDM支持将脏数据单独记录并写入指定存储位置,便于后续分析与处理。
不同数据源在作为源端(读)和目的端(写)时,对脏数据记录的支持能力存在差异,具体支持情况如下表所示:
| 数据源 | 读 | 写 |
|---|---|---|
| MySQL | √ | √ |
| PostgreSQL | √ | √ |
| SQL Server | √ | √ |
| SAP HANA | √ | √ |
| Oracle | √ | √ |
| GBase | √ | √ |
| GaussDB | √ | √ |
| DWS | √ | √ |
| DLI | x | √ |
| MRS Hive 、Apache Hive | √ | x |
| MRS Hudi | √ | x |
| MRS ClickHouse、Apache ClickHouse | √ | x |
| Doris | √ | √ |
| MRS HBase | √ | √ |
| MongoDB | √ | √ |
| Redis | √ | √ |
| Elasticsearch | √ | √ |
| DMS Kafka | x | x |
| LTS | x | x |
| Apache RocketMQ | x | x |
| RestClient | x | x |
| Apache HDFS | √ | x |
| OBS | √ | x |
| FTP | √ | x |
| SFTP | √ | x |