文档首页/ 数据湖探索 DLI/ 常见问题/ Spark作业相类/ Spark作业运维报错类/ 在使用Spark2.3.x访问元数据时,DataSource语法创建avro类型的OBS表创建失败
更新时间:2024-11-08 GMT+08:00

在使用Spark2.3.x访问元数据时,DataSource语法创建avro类型的OBS表创建失败

问题描述

使用Spark访问元数据时,DataSource语法创建avro类型的OBS表创建失败。

图1 avro类型的OBS创建失败

根因分析

当前Spark2.3.x不支持创建avro类型的OBS表,Spark2.4.x及以上的版本支持avro类型的OBS表。

解决方案

在使用DataSource语法创建avro类型的OBS表时,请选择Spark2.4.x及以上版本进行创建。