文档首页/ MapReduce服务 MRS/ 故障排除/ 使用Oozie/ Oozie调度HiveSQL作业报错处理
更新时间:2023-11-09 GMT+08:00
分享

Oozie调度HiveSQL作业报错处理

问题现象

MRS 3.x集群Oozie调度Hive作业任务失败,查看日志HiveSQL,实际上是运行成功的,但Yarn任务总体失败,报错如下:

java.io.ioException:output.properties data exceeds its limit [2048]

原因分析

由于HiveSQL脚本中一次提交的作业量太大,其中包含的信息超过Oozie Launcher一次容许的最大值2KB(2048 Bytes),需要调大默认的输出参数值,调整该参数不会对集群性能造成影响。

处理步骤

  1. 登录Manager页面,选择“集群 > 服务 > Oozie > 配置 > 全部配置 > 自定义”,在“oozie-site.xml”的配置项中添加参数“oozie.action.max.output.data”,值为“204800”,如下所示:

  2. 添加完后,保存并重启Oozie服务。
  3. 重新执行Oozie调度作业。

相关文档