文档首页/ 数据湖探索 DLI/ 常见问题/ Spark作业相类/ Spark作业运维报错类/ 使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常
更新时间:2024-11-08 GMT+08:00

使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常

Spark作业不支持访问sftp,建议将文件数据上传到OBS,再通过Spark作业进行读取和分析。

  1. 上传数据到OBS桶:通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。

    Spark读取OBS文件数据,详见使用Spark Jar作业读取和查询OBS数据

  2. 配置Spark作业:配置Spark作业访问OBS中存储的数据。
  3. 提交Spark作业:完成作业编写后,提交并执行作业。