使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常 Spark作业不支持访问sftp，建议将文件数据上传到OBS，再通过Spark作业进行读取和分析。 上传数据到OBS桶：通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。

查看更多 →

作请参考本地Windows主机使用FTP上传文件到Windows/Linux 云服务器 。 本地为Linux操作系统主机 使用SCP工具上传文件到Linux系统云 服务器 ，详细操作请参考本地Linux主机使用SCP上传文件到Linux云服务器 使用SFTP工具上传文件到Linux系统云

查看更多 →

创建Loader数据导入作业 使用Loader导入数据至 MRS 集群 使用Loader从SFTP服务器导入数据到HDFS/OBS 使用Loader从SFTP服务器导入数据到HBase 使用Loader从SFTP服务器导入数据到Hive 使用Loader从FTP服务器导入数据到HBase 使用Loade

查看更多 →

loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。 本章节适用于MRS

查看更多 →

不同的连接器或作业的配置项不同。 更新个别配置项时，使用参数选项方式。 创建连接器或作业时，使用作业模板方式。 本工具目前支持FTP、HDFS、JDBC、MySQL、Oracle以及Oracle专用连接器，如果使用其他类型连接器，建议使用开源sqoop-shell工具。 参数说明 例如

查看更多 →

不同的连接器或作业的配置项不同。 更新个别配置项时，使用参数选项方式。 创建连接器或作业时，使用作业模板方式。 本工具目前支持FTP、HDFS、JDBC、MySQL、Oracle以及Oracle专用连接器，如果使用其他类型连接器，建议使用开源sqoop-shell工具。 参数说明 例如

查看更多 →

信息窗口。 通过客户端工具登录。 打开本地SFTP、FTP客户端工具。 填写服务器地址、端口、用户名，输入登录密码。 支持使用API的登录方式登录FTP、SFTP协议类型的主机。 表3 登录参数说明 参数 说明 登录IP 配置信息的服务器地址，即 堡垒机 登录IP地址。 登录端口 配置信息的端口，默认端口号2222。

查看更多 →

“服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “源端路径”：填写备份文件在备份服务器中保存

查看更多 →

数据导出 概述 使用Loader导出数据 典型场景：从HDFS/OBS导出数据到SFTP服务器 典型场景：从HBase导出数据到SFTP服务器 典型场景：从Hive导出数据到SFTP服务器 典型场景：从HDFS/OBS导出数据到关系型数据库 典型场景：从HBase导出数据到关系型数据库

查看更多 →

名的文件及未转移的文档导入失败。 编码类型 导出文件的编码格式，如UTF-8。导出文本文件时才能配置。 压缩 使用SFTP协议导数据时，是否开启压缩传输功能以减小带宽使用。“true”为开启压缩，“false”为关闭压缩。 hdfs-connector 输出路径 导出文件在HDFS/OBS的输出目录或者文件名。

查看更多 →

“服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。 “最大备份数”：填写备份目录中可保留的备份文件集数量。

查看更多 →

本地Windows主机使用OBS上传文件到Windows云服务器 本地Windows主机使用WinSCP上传文件到Linux云服务器 本地macOS系统主机上传文件到Windows云服务器 本地Linux主机使用SCP上传文件到Linux云服务器 本地Linux主机使用SFTP上传文件到Linux云服务器

查看更多 →

创建Loader数据导出作业 使用Loader导出MRS集群内数据 使用Loader从HDFS/OBS导出数据到SFTP服务器 使用Loader从HBase导出数据到SFTP服务器 使用Loader从Hive导出数据到SFTP服务器 使用Loader从HDFS/OBS导出数据到关系型数据库 使用Load

查看更多 →

指定审计日志转储后存放的SFTP服务器连接端口。 保存路径 /opt/omm/oms/auditLog 指定SFTP服务器上保存审计日志的路径。 SFTP用户名 root 指定登录SFTP服务器的用户名。 SFTP密码 - 指定登录SFTP服务器的密码。 SFTP公共密钥 - 可选参

查看更多 →

“服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。 “最大备份数”：填写备份目录中可保留的备份文件集数量。

查看更多 →

inscp连接基于的是SFTP协议。 执行以下命令，查看/etc/ssh/sshd_config文件。 vi /etc/ssh/sshd_config 查看关于SFTP的配置描述，说明SFTP关联的配置文件是/usr/libexec/openssh/sftp-server 图2 查看SFTP关联的配置文件

查看更多 →

inscp连接基于的是SFTP协议。 执行以下命令，查看/etc/ssh/sshd_config文件。 vi /etc/ssh/sshd_config 查看关于SFTP的配置描述，说明SFTP关联的配置文件是/usr/libexec/openssh/sftp-server 图2 查看SFTP关联的配置文件

查看更多 →

本地Windows主机使用OBS上传文件到Windows云服务器 本地Windows主机使用WinSCP上传文件到Linux云服务器 本地macOS系统主机上传文件到Windows云服务器 本地Linux主机使用SCP上传文件到Linux云服务器 本地Linux主机使用SFTP上传文件到Linux云服务器

查看更多 →

支持图形化配置转换步骤 支持从SFTP/FTP服务器导入数据到HDFS/OBS 支持从SFTP/FTP服务器导入数据到HBase表 支持从SFTP/FTP服务器导入数据到Phoenix表 支持从SFTP/FTP服务器导入数据到Hive表 支持从HDFS/OBS导出数据到SFTP服务器 支持从HBase表导出数据到SFTP服务器

查看更多 →

数据导入 概述 使用Loader导入数据 典型场景：从SFTP服务器导入数据到HDFS/OBS 典型场景：从SFTP服务器导入数据到HBase 典型场景：从SFTP服务器导入数据到Hive 典型场景：从FTP服务器导入数据到HBase 典型场景：从关系型数据库导入数据到HDFS/OBS

查看更多 →

_log_YYYYmmDDHHMMSS.tar.gz，其中各字段依次表示年（Y）、月（m）、日（D）、时（H）、分（M）、秒（S）。 使用SFTP将日志文件下载到本地，并提供给管理员分析处理。

查看更多 →