该操作不需要通过索引去查询具体更新的文件分区，因此它的速度比upsert快。当不包含更新数据时建议使用该操作，如果存在更新数据使用该操作会出现重复数据。 bulk_insert：该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表，该操作性能是最高的，但是无法控制小文件，

查看更多 →

Hive在执行join操作，数据量小时会生成MapJoin，执行MapJoin时会生成localtask任务，localtask启动的jvm内存继承了父进程的内存。 当有多个join执行的时候，启动多个localtask，如果机器内存不够，就会导致启动localtask失败。 解决办法 进入Hive服务配置页面：

查看更多 →

发布者的数据 env.addSource(new NettySource("NettySource-1", "TOPIC-2", zkRegisterServerHandler)) .map(x => (1, new String(x)))//将接收到的字节流转化成字符串

查看更多 →

用于存放所有使用到的安装包文件；servers 用于部署所有tomcat等各种 服务器 运行程序 准备安装 复制apache-tomcat-8.5.16.tar.gz 到 /root/servers 目录下。 解压 cd /root/servers tar -zxvf apache-tomcat-8

查看更多 →

nch获取不到realm 问题 运行HiBench6的sparkbench任务，如Wordcount，任务执行失败。 “bench.log”中显示Yarn任务执行失败。 登录Yarn WebUI，查看对应application的失败信息，显示如下： Exception in thread

查看更多 →

下载样例代码，然后参考准备开发环境章节准备开发环境。 如果您不准备使用样例代码的工程，需要将下载的样例代码中“cloudtable-example\lib”目录下的jar包拷贝到您的项目中，并在项目工程中将这些Jar包添加到依赖路径中。 数据表复制样例代码 用户可以根据实际的业务需求基于HBase API开发应用程序

查看更多 →

提交相同的任务，在一定时间内多次提交了相同的任务，当其中某次任务执行完毕时会删除这个temp文件，所以在后来的任务执行时无法找到这个文件，故出现FileNotFoudException。需做如下调整： 当前“hbase.splitlog.manager.timeout”的默认时间

查看更多 →

java:745) 回答 用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark

查看更多 →

JRE_STACK_HOME：Jre的主目录。 APP_VALUE：在appspec.yml中指定的环境变量。 APP_USER：文件所属的用户。 APP_GROUP：文件的属组。 系统默认配置并不会直接出现在环境变量中，可用的脚本环境变量为APP_HOME、在appspec.yml中指定的环境变量和添加组件环境变量时指定的环境变量。

查看更多 →

每个block对应的机架信息组成为：/default/rack0/:,/default/rack0/datanodeip:port。 该问题是由于某个block块损坏或者丢失，导致该block对应的机器ip和port为空引起的，出现该问题的时候使用hdfs fsck检查对应文件块的健康状态

查看更多 →

用于展示表或分区的详细信息。 可以使用规则运算表达式来同时匹配多个表，但不可用于匹配分区。 展示的信息将包括表的基本信息和相关的文件系统信息，其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区，将给出指定分区的文件系统信息，而不是分区所在表的文件系统信息。

查看更多 →

Streams反向查找所依赖的DStream，逐个设置context。如果Spark Streaming应用创建1个输入流，但该输入流无输出逻辑时，则不会给它设置context。所以在序列化时报“NullPointerException”。 解决办法：应用中如果有无输出逻辑的输入流，则在代码

查看更多 →

使用BulkLoad工具向HBase迁移数据 HBase的数据都是存储在HDFS中的，数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。 “Import”通过“org.apache.hadoop.hbase

查看更多 →

psert写入小数据量时可能触发更新数据的小文件合并，使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时，insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件，而不是写log。 分区设置操作

查看更多 →

向HFS表中的存储文件的列族中插入一个文件，以name为列名，inputStream为文件的输入流对象，ts为指定的时间戳。 输入流对象需要调用者自行关闭。 org.apache.hadoop.hbase.filestream.client.FSGet继承自org.apache.hadoop

查看更多 →

getState = count } 带checkpoint的数据源 source算子的代码，该段代码每发送10000条数据休息1秒钟，制作快照时将到目前为止已经发送的数据的条数保存在UDFState中；从快照中状态恢复时，读取UDFState中的数据条数并重新赋值给count变量。 1 2

查看更多 →

采集数据时报错HoodieKeyException 问题 创建Hudi表时，是否可以使用包含空记录的可空字段作为主键？ 回答 不可以。 使用包含空记录的可空字段作为主键时会返回HoodieKeyException异常： Caused by: org.apache.hudi.exception.HoodieKeyException:

查看更多 →

携带正确的ID，正常使用FRS服务，账单的企业项目会被分类到企业ID对应的企业项目中。 携带格式正确但不存在的ID，正常使用FRS服务，账单的企业项目会显示对应不存在的企业项目ID。 不携带ID或格式错误ID（包含特殊字符等），正常使用FRS服务，账单的企业项目会被分类到"default"中。 表3 请求Body参数

查看更多 →

count; } } 带checkpoint的数据源 source算子的代码，该段代码每发送10000条数据休息1秒钟，制作快照时将到目前为止已经发送的数据的条数保存在UDFState中；从快照中状态恢复时，读取UDFState中的数据条数并重新赋值给count变量。 下面代码

查看更多 →

显示更详细的信息。可以通过修改log4j.properties文件来实现，如： hbase.root.logger=INFO,console log4j.logger.org.apache.zookeeper=INFO #log4j.logger.org.apache.hadoop

查看更多 →

Storm对外接口介绍 Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致，详情参见：https://github

查看更多 →