更新时间:2024-12-11 GMT+08:00

为什么Bad Records导致数据加载性能降低?

问题

为什么Bad Records会导致数据加载性能降低?

回答

加载数据中存在Bad Records,并且“BAD_RECORDS_LOGGER_ENABLE”参数值为“true”“BAD_RECORDS_ACTION”参数值为“redirect”

由于将失败原因写入日志文件中或将Bad Records重定向到原始CSV文件中导致的额外的I/O开销,数据加载性能就会降低 。