配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：

查看更多 →

配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：

查看更多 →

Kafka常用参数 本章节内容适用于 MRS 3.x及后续版本。 参数入口 参数入口，请参考修改集群服务配置参数。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect.datapart.bk

查看更多 →

Kafka常用参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 参数入口，请参考修改集群服务配置参数。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect.datapart.bk

查看更多 →

所有消费者消费一次。否则，每条消息只会被消费组内的某一消费者消费。 是否顺序消费 RocketMQ实例的版本为5.x时，需要设置此参数。 开启顺序消费后，消费者将顺序消费消息。 描述 消费组的描述信息。 修改完成后，单击“确定”。 父主题： 消费组管理

查看更多 →

Kafka客户端参数配置建议 Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。其他参数配置，请参考Kafka配置。 表1 Producer参数 参数 默认值 推荐值 说明 acks 1 高可靠：all或者-1 高吞吐：1 收到Serve

查看更多 →

Kafka Consumer消费数据丢失 问题背景与现象 用户将消费完的数据存入数据库，发现数据与生产数据不一致，怀疑Kafka消费丢数据。 可能原因 业务代码原因 Kafka生产数据写入异常 Kafka消费数据异常 解决办法 Kafka排查： 通过consumer-groups

查看更多 →

ClickHouse消费Kafka数据异常 问题现象 用户在ClickHouse集群创建Kafka引擎表test.user_log_kafka消费Kafka数据，查看Kafka监控发现凌晨开始出现消息堆积，数据一直没有被消费。 原因分析 Kafka出现消息堆积，说明ClickHo

查看更多 →

Kafka实例批量删除消费组 功能介绍 该接口用于向Kafka实例批量删除消费组。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/groups/batch-delete 表1 路径参数 参数 是否必选

查看更多 →

将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka，建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 在服务端配置如表1中参数，参数配置入口请参考修改集群服务配置参数。 表1 服务端高可用性和高性能参数说明 参数 默认值 说明 unclean

查看更多 →

将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka，建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 在服务端配置如表1中参数，参数配置入口请参考修改集群服务配置参数。 表1 服务端高可用性和高性能参数说明 参数 默认值 说明 unclean

查看更多 →

您在使用分布式消息服务Kafka版前，需要先购买Kafka实例。Kafka实例采用物理隔离的方式部署，租户独占Kafka实例。 支持区域： 全部 购买Kafka实例 连接Kafka 开源Kafka客户端向Kafka实例生产消息和消费消息前，需要先连接Kafka实例。 创建Kafka实例时，支持

查看更多 →

事件流名称和描述信息输入。 配置Kafka事件源。 单击“事件源”，右侧弹出“事件源”弹窗。 事件提供方选择“分布式消息服务 Kafka版”。 设置事件源参数。 图1 事件源-Kafka 表1 Kafka参数说明 参数名称 说明 实例 选择Kafka实例。 接入方式 选择“密文接入”或“明文接入”。

查看更多 →

向Kafka生产并消费数据程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发程序

查看更多 →

向Kafka生产并消费数据程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发程序

查看更多 →

分布式消息（Kafka） 分布式消息（Kafka）连接器包含“Topic列表”、“发送数据”、“指定分区发送”三个执行动作和“消费消息”一个触发事件。 连接参数 创建分布式（Kafka）连接时连接参数说明如表1所示。如果需要连接的Kafka配置了IP地址白名单限制，则需要放通 集成工作台 公网出口访问地址“124

查看更多 →

Manager页面，选择“集群 > 服务 > Kafka > 配置”，参数类别设置为“全部配置”，搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的 FusionInsight Manager，选择“集群 > 待操作的集群名称 > 服务 > Kafka > 更多 >

查看更多 →

Manager页面，选择“集群 > 服务 > Kafka > 配置”，参数类别设置为“全部配置”，搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的FusionInsight Manager，选择“集群 > 服务 > Kafka > 更多 > 下载客户端”，下载客户端压缩文件到本地机器。

查看更多 →

配置Kafka连接 MRS Kafka 连接MRS上的Kafka数据源时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称

查看更多 →

参数为私密参数时，系统会将输入参数做加密存储，使用时进行解密，同时在运行日志里不可见。 参数描述 参数的说明。 删除 单击参数所在行，可以删除该参数。 根据需要新建并配置参数。 单击参数列表下的“立即创建”，新增一个新的参数，请根据需要自定义参数名称、类型（默认为“字符串类型”）、参数值，设置私密参数或运行时设置等。

查看更多 →

参数配置 获取参数模板列表 获取指定实例的参数 修改指定实例的参数 创建参数模板 删除参数模板 查询参数模板详情 复制参数模板 重置参数组 比较两个参数组模板之间的差异 查询可应用实例列表 校验参数组名称是否存在 应用参数模板 查询参数模板的应用记录 查询参数模板的修改历史 父主题：

查看更多 →