。目前POC已公开，风险较高。具体漏洞详情，请参见Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）。 漏洞影响 在 区块链 服务（简称 BCS ）中提供的国密加密Fabric_SDK_Gateway_Java和Fabric_SDK_Java、开源社区的Fabr

查看更多 →

HBase的数据都是存储在HDFS中的，数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。 “Import”通过“org.apache.hadoop.hbase.mapreduce.Import”方法导入已导出至HDFS中的HBase数据。

查看更多 →

,/default/rack0/datanodeip:port。 该问题是由于某个block块损坏或者丢失，导致该block对应的机器ip和port为空引起的，出现该问题的时候使用hdfs fsck检查对应文件块的健康状态，删除损坏或者恢复丢失的块，重新进行任务计算即可。 父主题：

查看更多 →

Hudi提供多种写入方式，具体见hoodie.datasource.write.operation配置项，这里主要介绍UPSERT、INSERT和BULK_INSERT。 INSERT（插入）： 该操作流程和UPSERT基本一致，但是不需要通过索引去查询具体更新的文件分区，因此它的速度比UPSERT快。当数据源不包

查看更多 →

参考修改集群服务配置参数章节，进入ZooKeeper服务“全部配置”页面。不断尝试调大ZooKeeper配置文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值，直到ZooKeeperServer正常。 表1 参数说明 参数 描述 默认值 syncLimit follo

查看更多 →

SimpleKeyGenerator 和org.apache.hudi.keygen.ComplexKeyGenerator hoodie.datasource.hive_sync.partition_extractor_class 配置为org.apache.hudi.hive.Mult

查看更多 →

from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=1) 原因分析 MapReduce任务提交前对输入文件数的检查策略：在提交的MapReduce任务中，允许的最大输入文件数和HiveServer

查看更多 →

ssl/flink.truststore 在Flink的CLI yarn-session.sh命令中增加“-t”选项来传输keystore和truststore文件到各个执行节点。 yarn-session.sh -t ssl/ 2 配置keystore或truststore文件路径为绝对路径时，需要在Flink

查看更多 →

/* 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； 本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。*/

查看更多 →

security.kerberos.login.principal:pippo 解决办法 修改“flink-conf.yaml”中配置，配置项名称和值之间存在一个空格。 security.kerberos.login.principal: pippo 父主题： 使用Flink

查看更多 →

自定义函数类型推导 操作场景 类型推导包含了验证输入值、派生参数和返回值数据类型。从逻辑角度看，Planner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的

查看更多 →

架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部署和提交，缩短了业务开发周期。

查看更多 →

收发普通消息 本章节介绍普通消息的收发方法和示例代码。其中，普通消息发送方式分为同步发送和异步发送。RocketMQ提供PushConsumer和SimpleConsumer类型的消费者，PushConsumer消费者订阅普通消息时，代码不区分同步订阅和异步订阅。SimpleConsum

查看更多 →

java.opts”和“mapreduce.admin.reduce.child.java.opts”是否包含如下内容： -Dzookeeper.client.secure=true -Dzookeeper.clientCnxnSocket=org.apache.zookeeper

查看更多 →

使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格

查看更多 →

构造函数。通过rowkey来构造对象。 public FSPut(byte[] row, long timestamp) 构造函数。通过rowkey和时间戳来构造对象。 public void addFile(String name, byte[] value) 向HFS表中的存储文件的列

查看更多 →

提供的一种严格按照顺序来发布和消费的消息类型。 顺序消息分为全局顺序消息和分区顺序消息： 全局顺序消息：对于指定的一个Topic，将队列数量设置为1，这个队列内所有消息按照严格的先入先出FIFO（First In First Out）的顺序进行发布和订阅。 分区顺序消息：对于指定

查看更多 →

HBase的数据都是存储在HDFS中的，数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。 “Import”通过“org.apache.hadoop.hbase.mapreduce.Import”方法导入已导出至HDFS中的HBase数据。

查看更多 →

java.opts”和“mapreduce.admin.reduce.child.java.opts”是否包含如下内容： -Dzookeeper.client.secure=true -Dzookeeper.clientCnxnSocket=org.apache.zookeeper

查看更多 →

收发普通消息 本章节介绍普通消息的收发方法和示例代码。其中，普通消息发送方式分为同步发送和异步发送。 同步发送：消息发送方发出一条消息到服务端，服务端接收并处理消息，然后返回响应给发送方，发送方收到响应后才会发送下一条消息。 异步发送：消息发送方发出一条消息后，不等服务端返回响应，接着发送下一条消息。

查看更多 →

架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部署和提交，缩短了业务开发周期。

查看更多 →