更新时间：2023-09-06 GMT+08:00
在使用Spark2.3.x访问元数据时，DataSource语法创建avro类型的OBS表创建失败
问题描述
使用Spark访问元数据时，DataSource语法创建avro类型的OBS表创建失败。
图1 avro类型的OBS创建失败
根因分析
当前Spark2.3.x不支持创建avro类型的OBS表，Spark2.4.x及以上的版本支持avro类型的OBS表。
解决方案
在使用DataSource语法创建avro类型的OBS表时，请选择Spark2.4.x及以上版本进行创建。
父主题： 作业运维报错
作业运维报错 所有常见问题
- 运行Spark作业报java.lang.AbstractMethodError
- Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误
- 有访问OBS对应的桶的权限，但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403]
- Spark作业运行大批量数据时上报作业运行超时异常错误
- 使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常
- 执行作业的用户数据库和表权限不足导致作业运行失败
- 为什么Spark3.x的作业日志中打印找不到global_temp数据库
- 在使用Spark2.3.x访问元数据时，DataSource语法创建avro类型的OBS表创建失败
more
