更新时间:2023-03-10 GMT+08:00
使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常
Spark作业不支持访问sftp,建议将文件数据上传到OBS,再通过Spark作业进行读取和分析。
Spark读取OBS文件数据,详见使用Spark Jar作业读取和查询OBS数据。
父主题: 作业运维报错
作业运维报错 所有常见问题
- 运行Spark作业报java.lang.AbstractMethodError
- Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误
- 有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403]
- Spark作业运行大批量数据时上报作业运行超时异常错误
- 使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常
- 执行作业的用户数据库和表权限不足导致作业运行失败
- 为什么Spark3.x的作业日志中打印找不到global_temp数据库
- 在使用Spark2.3.x访问元数据时,DataSource语法创建avro类型的OBS表创建失败
more