该操作不需要通过索引去查询具体更新的文件分区，因此它的速度比upsert快。当不包含更新数据时建议使用该操作，如果存在更新数据使用该操作会出现重复数据。 bulk_insert：该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表，该操作性能是最高的，但是无法控制小文件，

查看更多 →

Hive在执行join操作，数据量小时会生成MapJoin，执行MapJoin时会生成localtask任务，localtask启动的jvm内存继承了父进程的内存。 当有多个join执行的时候，启动多个localtask，如果机器内存不够，就会导致启动localtask失败。 解决办法 进入Hive服务配置页面：

查看更多 →

发布者的数据 env.addSource(new NettySource("NettySource-1", "TOPIC-2", zkRegisterServerHandler)) .map(x => (1, new String(x)))//将接收到的字节流转化成字符串

查看更多 →

多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下： select s_name, count(1) as numwait from ( select s_name from (

查看更多 →

下载样例代码，然后参考准备开发环境章节准备开发环境。 如果您不准备使用样例代码的工程，需要将下载的样例代码中“cloudtable-example\lib”目录下的jar包拷贝到您的项目中，并在项目工程中将这些Jar包添加到依赖路径中。 数据表复制样例代码 用户可以根据实际的业务需求基于HBase API开发应用程序

查看更多 →

java:745) 回答 用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark

查看更多 →

onment.getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册 服务器 handler ZookeeperRegisterServerHandler

查看更多 →

onment.getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler

查看更多 →

onment.getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler

查看更多 →

JRE_STACK_HOME：Jre的主目录。 APP_VALUE：在appspec.yml中指定的环境变量。 APP_USER：文件所属的用户。 APP_GROUP：文件的属组。 系统默认配置并不会直接出现在环境变量中，可用的脚本环境变量为APP_HOME、在appspec.yml中指定的环境变量和添加组件环境变量时指定的环境变量。

查看更多 →

用于展示表或分区的详细信息。 可以使用规则运算表达式来同时匹配多个表，但不可用于匹配分区。 展示的信息将包括表的基本信息和相关的文件系统信息，其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区，将给出指定分区的文件系统信息，而不是分区所在表的文件系统信息。

查看更多 →

使用BulkLoad工具向HBase迁移数据 HBase的数据都是存储在HDFS中的，数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。 “Import”通过“org.apache.hadoop.hbase

查看更多 →

psert写入小数据量时可能触发更新数据的小文件合并，使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时，insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件，而不是写log。 分区设置操作

查看更多 →

发布者的数据 env.addSource(new NettySource("NettySource-1", "TOPIC-2", zkRegisterServerHandler)) .map(x => (1, new String(x)))//将接收到的字节流转化成字符串

查看更多 →

发布者的数据 env.addSource(new NettySource("NettySource-1", "TOPIC-2", zkRegisterServerHandler)) .map(x => (1, new String(x)))//将接收到的字节流转化成字符串

查看更多 →

* 从 Kafka brokers 中的 consumer 组（consumer 属性中的 group.id 设置）提交的偏移量中开始读取分区。 * 如果找不到分区的偏移量，那么将会使用配置中的 auto.offset.reset 设置。

查看更多 →

getState = count } 带checkpoint的数据源 source算子的代码，该段代码每发送10000条数据休息1秒钟，制作快照时将到目前为止已经发送的数据的条数保存在UDFState中；从快照中状态恢复时，读取UDFState中的数据条数并重新赋值给count变量。 1 2

查看更多 →

显示更详细的信息。可以通过修改log4j.properties文件来实现，如： hbase.root.logger=INFO,console log4j.logger.org.apache.zookeeper=INFO #log4j.logger.org.apache.hadoop

查看更多 →

顺序消息是分布式消息服务RocketMQ版提供的一种严格按照顺序来发布和消费的消息类型。 顺序消息分为全局顺序消息和分区顺序消息： 全局顺序消息：对于指定的一个Topic，将队列数量设置为1，这个队列内所有消息按照严格的先入先出FIFO（First In First Out）的顺序进行发布和订阅。 分

查看更多 →

count; } } 带checkpoint的数据源 source算子的代码，该段代码每发送10000条数据休息1秒钟，制作快照时将到目前为止已经发送的数据的条数保存在UDFState中；从快照中状态恢复时，读取UDFState中的数据条数并重新赋值给count变量。 下面代码

查看更多 →

RpcExecutor$Handler.run(RpcExecutor.java:318) 回答 确认当前使用的账号是否具有足够的权限。 需要CTBase用户在Ranger界面配置权限策略，赋予CTBase元数据表_ctmeta_、聚簇表和索引表RWCAE（READ，WRITE，EXEC，CREATE，ADMIN）权限。

查看更多 →