client-write-packet-size 客户端写包的大小。当HDFS Client往DataNode写数据时，将数据生成一个包。然后将这个包在网络上传出。此参数指定传输数据包的大小，可以通过各Job来指定。单位：字节。 在万兆网部署下，可适当增大该参数值，来提升传输的吞吐量。 262144

查看更多 →

HBase数据操作 创建HBase索引进行数据查询 配置HBase数据压缩格式和编码 父主题： 使用HBase

查看更多 →

删除HBase数据 功能简介 HBase通过Table实例的delete方法来Delete数据，可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testDelete方法中。

查看更多 →

Hive表的Location支持跨OBS和HDFS路径吗 MapReduce引擎无法查询Tez引擎执行union语句写入的数据 Hive是否支持对同一张表或分区进行并发写数据 Hive是否支持向量化查询 Hive表的HDFS目录被误删，但是元数据仍然存在，导致执行任务报错 如何关闭Hive客户端日志

查看更多 →

使用BulkLoad工具向HBase迁移数据 HBase的数据都是存储在HDFS中的，数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。 “Import”通过“org.apache

查看更多 →

log1.txt：数据输入文件 YuanJing,male,10 GuoYijun,male,5 Map阶段： 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段： 获取Map输出中的最后一条数据。

查看更多 →

log1.txt：数据输入文件 YuanJing,male,10 GuoYijun,male,5 Map阶段： 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段： 获取Map输出中的最后一条数据。

查看更多 →

访问ThriftServer操作表、向表中写数据、从表中读数据。 hbase-zk-example HBase访问ZooKeeper应用开发示例。 在同一个客户端进程内同时访问 MRS ZooKeeper和第三方的ZooKeeper，其中HBase客户端访问MRS ZooKeeper，客户应用访问第三方ZooKeeper。

查看更多 →

准备MapReduce样例初始数据 操作场景 在调测程序之前，需要提前准备将待处理的数据。 运行MapReduce统计样例程序，请参考规划MapReduce统计样例程序数据。 运行MapReduce访问多组件样例程序，请参考规划MapReduce访问多组件样例程序数据。 规划MapReduce统计样例程序数据

查看更多 →

批量加载HBase数据并生成本地二级索引 场景介绍 HBase本身提供了ImportTsv＆LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HB

查看更多 →

使用BulkLoad工具向HBase迁移数据 HBase的数据都是存储在HDFS中的，数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。 “Import”通过“org.apache

查看更多 →

Hive的JDBC接口调用样例 MapReduce服务 MRS HBase通用API使用样例 14:22 HBase通用API使用样例 MapReduce服务 MRS HBase Rest接口调用样例 14:13 HBase Rest接口调用样例 MapReduce服务 MRS HBase thrift接口调用样例

查看更多 →

log1.txt：数据输入文件 YuanJing,male,10 GuoYijun,male,5 Map阶段： 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段： 获取Map输出中的最后一条数据。

查看更多 →

hadoop.hbase.mapreduce.TsvImporterByteMapper”时，只在执行没有HBASE_CELL_VISIBILITY OR HBASE_CELL_TTL选项的批量加载命令时使用。使用“org.apache.hadoop.hbase.mapreduce.Ts

查看更多 →

client-write-packet-size 客户端写包的大小。当HDFS Client往DataNode写数据时，将数据生成一个包。然后将这个包在网络上传出。此参数指定传输数据包的大小，可以通过各Job来指定。单位：字节。 在万兆网部署下，可适当增大该参数值，来提升传输的吞吐量。 262144

查看更多 →

提升HBase BulkLoad工具批量加载效率 操作场景 HBase BulkLoad批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。

查看更多 →

访问ThriftServer操作表、向表中写数据、从表中读数据。 hbase-zk-example HBase访问ZooKeeper应用开发示例。 在同一个客户端进程内同时访问MRS ZooKeeper和第三方的ZooKeeper，其中HBase客户端访问MRS ZooKeeper，客户应用访问第三方ZooKeeper。

查看更多 →

log1.txt：数据输入文件 YuanJing,male,10 GuoYijun,male,5 Map阶段： 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段： 获取Map输出中的最后一条数据。

查看更多 →

Task从Map接收数据，然后按Region生成HFile，存放在HDFS临时目录中。 在MapReduce作业的提交阶段，将HFile从临时目录迁移到HBase目录中。 数据导入HDFS 在MapReduce作业的Map阶段中从外部数据源抽取数据，并将数据输出到HDFS临时目录下（以“输出目录-ldtmp”命名）。

查看更多 →

与Loader有交互关系的组件有HDFS、HBase、Hive、Yarn、Mapreduce和ZooKeeper等。 Loader作为客户端使用这些组件的某些功能，如存储数据到HDFS和HBase，从HDFS和HBase表读数据，同时Loader本身也是一个Mapreduce客户端程序，完成一些数据导入导出任务。

查看更多 →

/tmp/examples/multi-components/mapreduce/input/ 创建HBase表并插入数据。 在Linux系统HBase客户端使用命令hbase shell。 在HBase shell交互窗口创建数据表table1，该表有一个列族cf，使用命令create

查看更多 →