Spark Load导入数据时报错序列化异常

现象描述

使用Spark Load导入数据时报错“java.io.NotSerializableException: org.apache.spark.defense.DefenseRules”。

原因分析

Spark组件的大SQL特性中的类“org.apache.spark.defense.DefenseRules”不能序列化。

处理步骤

1. 删除“客户端安装目录/Spark/spark/jars”目录中的“spark-sql-defense_2.12-3.3.1-h0.cbu.mrs.330.r9.jar”Jar包。
2. 执行以下命令重新压缩Spark jars目录下的包：

   cd 客户端安装目录/Spark/spark/jars

   zip -qr spark-archive.zip

3. 重新在Doris客户端执行Spark Load数据导入任务即可。