更新时间:2024-11-06 GMT+08:00
使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常
Spark作业不支持访问sftp,建议将文件数据上传到OBS,再通过Spark作业进行读取和分析。
- 上传数据到OBS桶:通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。
Spark读取OBS文件数据,详见使用Spark Jar作业读取和查询OBS数据。
- 配置Spark作业:配置Spark作业访问OBS中存储的数据。
- 提交Spark作业:完成作业编写后,提交并执行作业。
父主题: Spark作业运维类