apache.hadoop.hbase.io.hfile.LruBlockCache.logStats(LruBlockCache.java:858) 回答 出现该问题的主要原因为RegionServer分配的内存过小、Region数量过大导致在运行过程中内存不足，服务端对客户端的响应过

查看更多 →

通过hdfs fsck命令检查/hbase/WALs文件的健康状态。 hdfs fsck /hbase/WALs 输出如下表示文件都正常，如果有异常则需要先处理异常的文件，再执行后面的操作。 The filesystem under path '/hbase/WALs' is HEALTHY

查看更多 →

提升HBase BulkLoad工具批量加载效率 操作场景 批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。

查看更多 →

使用BulkLoad工具向HBase迁移数据 HBase的数据都是存储在HDFS中的，数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。 “Import”通过“org.apache

查看更多 →

exe in the Hadoop binaries. 日志说明： 日志级别默认为INFO，可以通过调整日志打印级别（DEBUG，INFO，WARN，ERROR，FATAL）来显示更详细的信息。可以通过修改log4j.properties文件来实现，如： hbase.root.logger=INFO

查看更多 →

动期间等待所有region server的WAL分割，以避免数据不一致问题。一旦WAL分割完成，HMaster将进行用户region的分配。所以当在集群异常的场景下，WAL分割可能需要很长时间，这取决于多个因素，例如太多的WALs，较慢的I/O，region servers不稳定等。

查看更多 →

使用REST接口操作HBase表 功能简介 使用REST服务，传入对应host与port组成的url以及指定的tableName和jsonHTD，通过HTTP协议，进行查询表信息，修改表，创建表以及删除表的操作。 代码样例 方法调用 // Add a table with specified

查看更多 →

htrace-core-3.1.0-incubating.jar （真实复制的jar包） 查看hosts文件，对其他所有节点进行同样的复制jar包操作。 重新运行sqoop任务，产生报错如下： 去HBase的安装目录下查找文件。 进入HBase的lib目录下，进行grep查找。 继续复制jar包。 cp

查看更多 →

HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。H

查看更多 →

column_num要和数据文件中的列的数量对应。 family的指定要和表的列族名称对应。 仅当批量导入数据时创建二级索引才需配置以下参数，且索引类型的首字母需要大写，例如type="String"；以下片段中length="30"表示索引列“H_ID”的列值不能超过30个字符：

查看更多 →

用户想要删除指定索引的表的名称 参数：List <String> 包含要删除的索引名称的列表 返回类型：void disableIndices(TableName tableName,List <String> list) 参数：TableName 用户想要禁用指定索引的表的名称 参数：List

查看更多 →

日志说明：日志级别默认为INFO，可以通过调整日志打印级别（DEBUG，INFO，WARN，ERROR，FATAL）来显示更详细的信息。可以通过修改log4j.properties文件来实现，如： hbase.root.logger=INFO,console log4j.logger.org.apache.zookeeper=INFO

查看更多 →

增强BulkLoad效率的配置项 参数 描述 配置的值 -Dimporttsv.mapper.class 用户自定义mapper通过把键值对的构造从mapper移动到reducer以提高性能。mapper只需要把每一行的原始文本发送到reducer，reducer解析每一行的每一条记录并创建键值对。

查看更多 →

提交相同的任务，在一定时间内多次提交了相同的任务，当其中某次任务执行完毕时会删除这个temp文件，所以在后来的任务执行时无法找到这个文件，故出现FileNotFoudException。需做如下调整： 当前“hbase.splitlog.manager.timeout”的默认时间

查看更多 →

主备集群必须已配置跨集群拷贝。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 必须在主备集群的所有节点的hosts文件中，配置主备集群所有机器的机器名与业务IP地址的对应关系。 若主集群的客户端安装在集群外的节点上，也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。

查看更多 →

test(nonSecurityModeUrl);[2] [1]修改restHostName为待访问的RestServer实例所在节点的IP地址，并将节点IP配置到运行样例代码的本机hosts文件中。 [2]非安全模式采用http模式进行访问HBase REST服务，传入“nonSecurityModeUrl作为test

查看更多 →

} } 根据指定namespace获取其中的表 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的getAllNamespaceTables方法中。

查看更多 →

} } 根据指定namespace获取其中的表 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的getAllNamespaceTables方法中。

查看更多 →

} } 根据指定namespace获取其中的表 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的getAllNamespaceTables方法中。

查看更多 →

} } 根据指定namespace获取其中的表 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的getAllNamespaceTables方法中。

查看更多 →

// 建立连接hbase的配置参数，此时需要保证hbase-site.xml在classpath中 val hbConf = HBaseConfiguration.create(sc.hadoopConfiguration) // 声明表的信息 val

查看更多 →