配置参数 执行样例代码前，必须在hbase-site.xml配置文件中，配置正确的ZooKeeper集群的地址。 配置项如下： <property> <name>hbase.zookeeper.quorum</name> <value>xxx-zk1.cloudtable.com

查看更多 →

是否设置为广播消费。 若开启广播消费，每条消息都会被消费组内的所有消费者消费一次。否则，每条消息只会被消费组内的某一消费者消费。 是否顺序消费 RocketMQ实例的版本为5.x时，需要设置此参数。 开启顺序消费后，消费者将按顺序消费消息。 按顺序消费可以保证消息的消费顺序和发送的顺序一致，即先发送的先消费，后发送的后消费。

查看更多 →

Broker实例IP地址:Kafka连接端口 topic名称 Kafka Broker实例IP地址可登录集群的 FusionInsight Manager界面，在“集群 > 服务 > Kafka > 实例”界面中查询，多个地址可用“,”分隔。Broker端口号可通过Kafka服务配置参数“port”查询，默认为9092。

查看更多 →

Connect任务。 在“规则配置”区域，设置以下参数。 表2 复制数据规则参数说明 参数 参数说明 同步方式 支持以下三种同步方式： 拉取：把对端Kafka实例数据复制到当前Kafka实例中。 推送：把当前Kafka实例数据复制到对端Kafka实例中。 双向：两端Kafka实例数据进行双向复制。

查看更多 →

enable”为“false”时，需要手动创建消费组，不需要单独创建生产者和消费者。 修改“auto.create.groups.enable”的方法，请参考修改Kafka实例配置参数。 连接Kafka实例后，生产消息和消费消息，请参考向Kafka实例生产消息和消费消息。 父主题： 消费组问题

查看更多 →

单击“事件目标”，右侧弹出“事件目标”弹窗。 目标服务选择“分布式消息服务 Kafka版”。 设置事件目标参数。 图2 分布式消息服务 Kafka版 表2 分布式消息服务 Kafka版参数说明 参数名称 说明 目标连接 选择目标连接。如果还未创建目标连接，请先创建分布式消息服务Kafka版目标连接。 Topic

查看更多 →

配置Kafka流控 Kafka支持对用户/客户端/Topic配置流量控制，控制生产/消费消息的上限速率。 用户/客户端的流控作用范围是整个Broker，Topic的流控作用范围是指定Topic。 2022年11月10日及以后创建的实例支持此功能。 单机实例不支持配置流控。 操作影响

查看更多 →

在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称，进入实例详情页面。 在“用户管理”页面，单击“创建用户”。 在弹出的“创建用户”对话框中，参考配置Kafka ACL用户，设置用户信息。 表1 创建用户参数说明 参数 说明 用户名

查看更多 →

Apache Kafka同步到 MRS Kafka 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch

查看更多 →

DMS Kafka同步到OBS 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max

查看更多 →

Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →

为什么删除消费组不生效？ 可能原因：您开启了自动创建消费组功能，且您的业务正在连接该消费组消费消息。所以，如果没有停止您的业务，删除了消费组后，消费消息时还是会自动创建该消费组。 解决办法：关闭自动创建消费组功能，即在Kafka控制台的“配置参数”页面，把“auto.create

查看更多 →

MRS集群管理员已明确业务需求。并准备一个Kafka组件业务用户，该用户属于kafkaadmin用户组。（普通模式不需要） 已安装Kafka客户端，例如客户端安装目录为“/opt/client”。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。

查看更多 →

登录参数配置 接口功能 在登录前配置登录所需要的参数。 接口描述 1 public static boolean setConfig(int key, String value); 接口所属类 LoginConfig 参数说明 字段 必选/可选 类型 描述 key 必选 int

查看更多 →

HDFS连接参数说明 FTP/SFTP连接参数说明 Redis连接参数说明 DDS连接参数说明 CloudTable连接参数说明 MongoDB连接参数说明 Cassandra连接参数说明 DIS连接参数说明 Kafka连接参数说明 DMS Kafka连接参数说明 云搜索服务 （ CSS ）连接参数说明

查看更多 →

修改的系统参数，单击参数名，在参数详情页修改取值。 系统参数：展示用户自定义的系统参数，支持新增、删除和修改自定义的系统参数。 内置系统参数：展示系统预置的参数，可修改预置的系统参数取值，但不能删除预置的系统参数。 （可选，当需要自定义参数时，可执行该步骤）新建系统参数。 在“系统参数”页签，单击“新建”。

查看更多 →

Doris静态参数，修改保存后需要重启集群。 已生效 Doris参数修改后已生效： 静态参数修改保存后，集群需要重启才能生效。 动态参数修改保存后生效。 FE节点参数说明 表3 FE节点参数说明 参数名 参数值 静态参数 参数类型 状态 单位 参数范围 参数默认值 参数描述 max

查看更多 →

object 配置文件操作。 modify: 修改参数配置。 delete: 删除参数配置。 reset: 重置参数配置。 表4 UpdateYmlsReqEditModify 参数 是否必选 参数类型 描述 elasticsearch.yml 是 Object 参数配置列表。值为需要修改的json数据。

查看更多 →

已安装Kafka客户端。 使用Kafka客户端查看当前消费情况 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env

查看更多 →

产生告警的集群内服务名称。 消费者组 产生告警的Kafka消费者组名称。 附加信息 topic名称 产生告警的Kafka Topic名称。 消息积压量 产生告警的Kafka Topic消息积压量。 对系统的影响 Kafka Topic中消息保留时间有限（默认7天），若不及时消费Topic中积压的消息，则会导致数据丢失。

查看更多 →

创建Kafka Topic Topic，即消息主题，用于存储消息，供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动

查看更多 →