更新时间:2022-02-24 GMT+08:00

Loader开源增强特性

Loader开源增强特性:数据导入导出

Loader是在开源Sqoop组件的基础上进行了一些扩展,除了包含Sqoop开源组件本身已有的功能外,还开发了如下的增强特性:

  • 提供数据转化功能
  • 支持图形化配置转换步骤
  • 支持从SFTP/FTP服务器导入数据到HDFS/OBS
  • 支持从SFTP/FTP服务器导入数据到HBase表
  • 支持从SFTP/FTP服务器导入数据到Phoenix表
  • 支持从SFTP/FTP服务器导入数据到Hive表
  • 支持从HDFS/OBS导出数据到SFTP/FTP服务器
  • 支持从HBase表导出数据到SFTP/FTP服务器
  • 支持从Phoenix表导出数据到SFTP/FTP服务器
  • 支持从关系型数据库导入数据到HBase表
  • 支持从关系型数据库导入数据到Phoenix表
  • 支持从关系型数据库导入数据到Hive表
  • 支持从HBase表导出数据到关系型数据库
  • 支持从Phoenix表导出数据到关系型数据库
  • 支持从Oracle分区表导入数据到HDFS/OBS
  • 支持从Oracle分区表导入数据到HBase表
  • 支持从Oracle分区表导入数据到Phoenix表
  • 支持从Oracle分区表导入数据到Hive表
  • 支持从HDFS/OBS导出数据到Oracle分区表
  • 支持从HBase导出数据到Oracle分区表
  • 支持从Phoenix表导出数据到Oracle分区表
  • 在同一个集群内,支持从HDFS导数据到HBase、Phoenix表和Hive表
  • 在同一个集群内,支持从HBase和Phoenix表导数据到HDFS/OBS
  • 导入数据到HBase和Phoenix表时支持使用bulkload和put list两种方式
  • 支持从SFTP/FTP导入所有类型的文件到HDFS,开源只支持导入文本文件
  • 支持从HDFS/OBS导出所有类型的文件到SFTP,开源只支持导出文本文件和sequence格式文件
  • 导入(导出)文件时,支持对文件进行转换编码格式,支持的编码格式为jdk支持的所有格式
  • 导入(导出)文件时,支持保持原来文件的目录结构和文件名不变
  • 导入(导出)文件时,支持对文件进行合并,如输入文件为海量个文件,可以合并为n个文件(n值可配)
  • 导入(导出)文件时,可以对文件进行过滤,过滤规则同时支持通配符和正则表达式
  • 支持批量导入/导出ETL任务
  • 支持ETL任务分页查询、关键字查询和分组管理
  • 对外部组件提供浮动IP