更新时间:2024-05-28 GMT+08:00

为什么Bad Records导致数据加载性能降低?

问题

为什么Bad Records导致数据加载性能降低?

回答

如果数据中存在Bad Records,并且“BAD_RECORDS_LOGGER_ENABLE”参数值为“true”“BAD_RECORDS_ACTION”参数值为“redirect”,则由于将失败原因写入日志文件中或将Bad Records重定向到原始CSV文件中导致的额外的I/O开销,数据加载性能就会降低 。