更新时间:2022-02-24 GMT+08:00
Loader开源增强特性
Loader开源增强特性:数据导入导出
Loader是在开源Sqoop组件的基础上进行了一些扩展,除了包含Sqoop开源组件本身已有的功能外,还开发了如下的增强特性:
- 提供数据转化功能
- 支持图形化配置转换步骤
- 支持从SFTP/FTP服务器导入数据到HDFS/OBS
- 支持从SFTP/FTP服务器导入数据到HBase表
- 支持从SFTP/FTP服务器导入数据到Phoenix表
- 支持从SFTP/FTP服务器导入数据到Hive表
- 支持从HDFS/OBS导出数据到SFTP/FTP服务器
- 支持从HBase表导出数据到SFTP/FTP服务器
- 支持从Phoenix表导出数据到SFTP/FTP服务器
- 支持从关系型数据库导入数据到HBase表
- 支持从关系型数据库导入数据到Phoenix表
- 支持从关系型数据库导入数据到Hive表
- 支持从HBase表导出数据到关系型数据库
- 支持从Phoenix表导出数据到关系型数据库
- 支持从Oracle分区表导入数据到HDFS/OBS
- 支持从Oracle分区表导入数据到HBase表
- 支持从Oracle分区表导入数据到Phoenix表
- 支持从Oracle分区表导入数据到Hive表
- 支持从HDFS/OBS导出数据到Oracle分区表
- 支持从HBase导出数据到Oracle分区表
- 支持从Phoenix表导出数据到Oracle分区表
- 在同一个集群内,支持从HDFS导数据到HBase、Phoenix表和Hive表
- 在同一个集群内,支持从HBase和Phoenix表导数据到HDFS/OBS
- 导入数据到HBase和Phoenix表时支持使用bulkload和put list两种方式
- 支持从SFTP/FTP导入所有类型的文件到HDFS,开源只支持导入文本文件
- 支持从HDFS/OBS导出所有类型的文件到SFTP,开源只支持导出文本文件和sequence格式文件
- 导入(导出)文件时,支持对文件进行转换编码格式,支持的编码格式为jdk支持的所有格式
- 导入(导出)文件时,支持保持原来文件的目录结构和文件名不变
- 导入(导出)文件时,支持对文件进行合并,如输入文件为海量个文件,可以合并为n个文件(n值可配)
- 导入(导出)文件时,可以对文件进行过滤,过滤规则同时支持通配符和正则表达式
- 支持批量导入/导出ETL任务
- 支持ETL任务分页查询、关键字查询和分组管理
- 对外部组件提供浮动IP
父主题: Loader