文档首页/ 数据湖探索 DLI/ 常见问题/ DLI数据库和表类/ OBS表压缩率较高怎么办?
更新时间:2024-11-06 GMT+08:00
分享

OBS表压缩率较高怎么办?

当您在提交导入数据到DLI表的作业时,如果遇到Parquet/Orc格式的OBS表对应的文件压缩率较高,超过了5倍的压缩率,您可以通过调整配置来优化作业的性能。

具体方法:在submit-job请求体conf字段中配置“dli.sql.files.maxPartitionBytes=33554432”。

该配置项默认值为128MB,将其配置成32MB,可以减少单个任务读取的数据量,避免因过高的压缩比,导致解压后单个任务处理的数据量过大。

但调整这个参数可能会影响到作业的执行效率和资源消耗,因此在做调整时需要根据实际的数据量和压缩率来选择适合的参数值。

相关文档