使用Loader从HBase导出数据到S FTP服务器 操作场景 该任务指导用户使用Loader将数据从HBase导出到SFTP 服务器 。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取SF

查看更多 →

务。 SparkHbasetoHbaseJavaExample Spark从HBase读取数据再写入HBase的Java/Scala/Python示例程序。 本示例工程中，Spark应用程序实现两个HBase表数据的分析汇总。 SparkHbasetoHbasePythonExample

查看更多 →

用户可以使用全局二级索引工具批量查看某个数据表相关索引的定义及状态。 使用方法 在HBase客户端执行以下命令可索引的定义及状态： hbase org.apache.hadoop.hbase.hindex.global.mapreduce.GlobalTableIndexer -Dtablename

查看更多 →

30201001,13,'367392332','sffa1','',''); 执行BulkLoad任务更新数据 hbase org.apache.phoenix.mapreduce.CsvBulkLoadTool -t TEST_TABLE -i /tmp/test.csv，test.csv内容如下：

查看更多 →

176:21003/oozie 选择运行的样例工程： OozieMapReduceExcample样例工程，执行6。 OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark2x访问HBase以及Hive。 使用客户端上传Oozie的examples文件夹到HDFS。

查看更多 →

176:21003/oozie 选择运行的样例工程： OozieMapReduceExcample样例工程，执行6。 OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark访问HBase以及Hive。 使用客户端上传Oozie的examples文件夹到HDFS。

查看更多 →

HDFS和HBase的关系 HDFS是Apache的Hadoop项目的子项目，HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志文件，HBase中的所有数据文件都可以存储在Hadoop

查看更多 →

30201001,13,'367392332','sffa1','',''); 执行BulkLoad任务更新数据 hbase org.apache.phoenix.mapreduce.CsvBulkLoadTool -t TEST_TABLE -i /tmp/test.csv，test.csv内容如下：

查看更多 →

CloudTable HBase输出流 功能描述 DLI 将作业的输出数据输出到CloudTable的HBase中。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

使用nohup命令放在后台执行，避免操作被意外中断。 在HBase客户端执行以下命令可批量构建已有数据的索引数据： hbase org.apache.hadoop.hbase.hindex.global.mapreduce.GlobalTableIndexer -Dtablename

查看更多 →

配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言

查看更多 →

这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言

查看更多 →

Hive业务还可能需要关联使用其他组件，例如HQL语句触发MapReduce任务需要设置Yarn权限，或者Hive over HBase的场景需要HBase权限。以下介绍Hive关联Yarn和Hive over HBase两个场景下的操作。 安全模式下Yarn和HBase的权限管理默认是开启的，因此在安全

查看更多 →

不允许创建Hive on HBase的分区表 Hive on HBase表将实际数据存储在HBase上。由于HBase会将表划分为多个分区，将分区散列在RegionServer上，因此不允许在Hive中创建Hive on HBase分区表。 Hive on HBase表不支持INSERT

查看更多 →

中选择“HBASE”，设置数据源信息。 表2 数据源配置参数说明 参数名 解释说明 示例 HBase实例 在HBase作业中，Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加，则此作业无法正常运行。 HBase 个数

查看更多 →

0 KrbServer 1.18 LdapServer 2.7.0 Loader 1.99.3 Mapreduce 3.1.1 Oozie 5.1.0 Phoenix（集成在HBase中） 5.0.0 Ranger 2.0.0 Spark2x 3.1.1 Tez 0.9.2 Yarn

查看更多 →