Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例：

查看更多 →

* 从 Kafka brokers 中的 consumer 组（consumer 属性中的 group.id 设置）提交的偏移量中开始读取分区。 * 如果找不到分区的偏移量，那么将会使用配置中的 auto.offset.reset 设置。

查看更多 →

68 Maven:org.bouncycastle:bcprov-jdk15to18:1.70 需要将下面这些版本调整成一致的版本，可以都修改为1.68，如下： Maven: org.bouncycastle:bcpkix-jdk15on:1.68 Maven: org.bouncy

查看更多 →

} } 在操作步骤添加的@ComponentScan注解中，添加1创建的类的扫描路径。 package com.singzai; import org.springframework.boot.SpringApplication; import org.springframework

查看更多 →

ts) 向HFS表中的存储文件的列族中插入一个文件，以name为列名，inputStream为文件的输入流对象，ts为指定的时间戳。 输入流对象需要调用者自行关闭。 org.apache.hadoop.hbase.filestream.client.FSGet继承自org.apache

查看更多 →

需要下载的版本。具体的说明如表1所示。 OBS不会处理请求中携带的Accept-Encoding，也不会对上传的数据做任何压缩、解压的操作，压缩解压的操作由客户端决定。某些HTTPClient在默认情况下可能会根据服务端返回的Content-Encoding对数据做相应的解压处理

查看更多 →

Boot连接RabbitMQ实例 本文介绍如何使用Spring Boot连接RabbitMQ实例进行消息的生产和消费。 使用前请参考收集连接信息收集RabbitMQ所需的连接信息。 本文的连接示例对于RabbitMQ 3.x.x版本与AMQP-0-9-1版本都适用。 在pom.xml文

查看更多 →

如何在导入Hive表时指定输出的文件压缩格式？ 问题现象 如何在导入Hive表时指定输出的文件压缩格式？ 处理步骤 当前Hive支持以下几种压缩格式： org.apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress

查看更多 →

向量检索的客户端代码示例（Java） OpenSearch提供了标准的REST接口，以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例，介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖，此处以OpenSearch

查看更多 →

版本依赖 下面是MAS-DB-SDK中引入的依赖及依赖版本： 所属模块 依赖名称 依赖版本 scope devspore-datasource com.huaweicloud.devspore:devspore-mas-common latest compile net.jodah:failsafe

查看更多 →

[1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 “login”方法中的参数“java

查看更多 →

者消费消息时，可能会出现消费过快导致下游业务来不及处理的情况，进而影响系统的稳定性。本章节介绍在消费端进行限流的示例代码，以保障系统的稳定。 准备环境 开源的Java客户端支持连接分布式消息服务RocketMQ版，推荐使用的客户端版本为4.9.8。 使用Maven方式引入依赖。 <dependency>

查看更多 →

以分页形式查询组织列表，返回除了根组织外，其他所有子组织列表信息的前100条，不满100条时，则返回实际数量的信息结果。 GET https://{domain_name}/api/v2/tenant/organizations?org_id=&all_child=true&offset=0&limit=100

查看更多 →

huawei.com 开源/第三方软件引入 工作流bpmn图的xml中使用 www.omg.org 开源/第三方软件引入 工作流bpmn图的xml中使用 http://www.activiti.org 开源/第三方软件引入 工作流bpmn图的xml中使用 http://www.jgraph.com/images/mxgraph

查看更多 →

Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例：

查看更多 →

多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下： select s_name, count(1) as numwait from ( select s_name from (

查看更多 →

顺序消息是分布式消息服务RocketMQ版提供的一种严格按照顺序来发布和消费的消息类型。 顺序消息分为全局顺序消息和分区顺序消息： 全局顺序消息：对于指定的一个Topic，将队列数量设置为1，这个队列内所有消息按照严格的先入先出FIFO（First In First Out）的顺序进行发布和订阅。 分

查看更多 →

getState = count } 带checkpoint的数据源 source算子的代码，该段代码每发送10000条数据休息1秒钟，制作快照时将到目前为止已经发送的数据的条数保存在UDFState中；从快照中状态恢复时，读取UDFState中的数据条数并重新赋值给count变量。 下面代码

查看更多 →

onment.getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册 服务器 handler ZookeeperRegisterServerHandler

查看更多 →

onment.getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler

查看更多 →

onment.getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler

查看更多 →