检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
未实名认证
已实名认证
分享文档到微博
扫码分享文档
复制链接到剪贴板
链接复制成功!
使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。
spark.sql.shuffle.partitions = 分区数量(即此场景下最终生成的文件数量)
INSERT OVERWRITE TABLE tablename select * FROM tablename distribute by rand()
查看PDF
在使用文档中是否遇到以下问题
意见反馈(选填)
请至少选择一项反馈信息并填写问题反馈
字符长度不能超过500
如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨
more