Spark Load导入数据时报错获取不到appid

现象描述

使用Spark Load导入数据时报错“Waiting too much time to get appId from handle”。

原因分析

Doris通过读取日志，并解析每行日志的信息，获取appId和state；当INFO日志信息未打印时，获取到的appId和state的值为null，如果超时，任务就会被取消，导致数据导入失败。

处理步骤

1. 修改“客户端安装目录/Spark/spark/conf”目录下的“log4j2.properties”和“log4j.properties”文件中的以下参数值为“INFO”，并保存。
   • “log4j2.properties”文件中需修改的参数：
     • rootLogger.level
     • logger.repl.level
     • logger.thriftserver.level
     • logger.jetty1.level
     • logger.jetty2.level
     • logger.parquet1.level
     • logger.parquet2.level
     • logger.RetryingHMSHandler.level
     • logger.FunctionRegistry.level
     • logger.hiveconf.level
   • “log4j.properties”文件中需修改的参数：
     • log4j.rootCategory
     • log4j.logger.org.apache.spark.repl.Main
     • log4j.logger.org.spark_project.jetty
     • log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle
     • log4j.logger.org.apache.parquet
     • log4j.logger.parquet
     • log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler
     • log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry
     • log4j.logger.org.apache.hadoop.hive.ql.metadata.multiversion.MultiVersionFactory
     • log4j.logger.org.apache.hadoop.hive.conf.HiveConf
     • log4j.logger.org.apache.ranger.authorization.hadoop.config
     • log4j.logger.org.apache.ranger.audit.provider.AuditProviderFactory
     • log4j.logger.com.xxx.bigdata.om.agent.alarmcommon.SuppressionAlarmUtils

2. 重新在Doris客户端执行Spark Load数据导入任务即可。