更新时间:2024-11-06 GMT+08:00
在使用Spark2.3.x访问元数据时,DataSource语法创建avro类型的OBS表创建失败
问题描述
使用Spark访问元数据时,DataSource语法创建avro类型的OBS表创建失败。
图1 avro类型的OBS创建失败
根因分析
当前Spark2.3.x不支持创建avro类型的OBS表,Spark2.4.x及以上的版本支持avro类型的OBS表。
解决方案
在使用DataSource语法创建avro类型的OBS表时,请选择Spark2.4.x及以上版本进行创建。
父主题: Spark作业运维类