更新时间:2026-04-27 GMT+08:00
分享

各数据源脏数据的支持情况

在数据集成过程中,可能会因数据类型不匹配、格式错误、约束冲突等原因产生脏数据。CDM支持将脏数据单独记录并写入指定存储位置,便于后续分析与处理。

不同数据源在作为源端(读)和目的端(写)时,对脏数据记录的支持能力存在差异,具体支持情况如下表所示:

表1 不同数据源脏数据读写能力说明

数据源

MySQL

PostgreSQL

SQL Server

SAP HANA

Oracle

GBase

GaussDB

DWS

DLI

x

MRS Hive 、Apache Hive

x

MRS Hudi

x

MRS ClickHouse、Apache ClickHouse

x

Doris

MRS HBase

MongoDB

Redis

Elasticsearch

DMS Kafka

x

x

LTS

x

x

Apache RocketMQ

x

x

RestClient

x

x

Apache HDFS

x

OBS

x

FTP

x

SFTP

x

相关文档