MRS 集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，普通模式不需要）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。

查看更多 →

配置Kafka监控告警 本章节主要介绍部分监控指标的告警策略，以及配置操作。在实际业务中，建议按照以下告警策略，配置监控指标的告警规则。 表1 Kafka实例的告警策略和处理建议 指标ID 指标名称 测量对象 告警策略 指标说明 告警处理建议 broker_disk_usage 磁盘容量使用率

查看更多 →

配置ClickHouse对接Kafka 配置ClickHouse通过用户密码对接Kafka 配置ClickHouse通过Kerberos认证对接Kafka 配置ClickHouse对接普通模式Kafka 父主题： ClickHouse数据导入

查看更多 →

配置Kafka客户端 Kafka客户端参数配置建议 Kafka客户端使用建议 父主题： 连接实例

查看更多 →

成有序消息队列使用。如果Key为空，则消息分布式存储在不同的消息分区。 失败重试分配 日志推送到Kafka失败后的重试配置。 重试次数：失败后的重试次数，范围为0-5次。 重试间隔时间：失败后的重试时间间隔，范围为1-10秒。 SASL配置信息 安全协议 连接目标Kafka所使用的安全协议。

查看更多 →

修改Kafka实例配置参数 操作场景 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值，您可以根据实际业务需求，在控制台自行修改参数值。其他在控制台未列出的配置参数，请参考Kafka配置进行修改。 Kafka实例的参数分为动态参数和静态参数： 动

查看更多 →

配置Kafka应用安全认证 使用Sasl Kerberos认证 使用Sasl Plaintext认证 使用Kafka Token认证 父主题： 准备Kafka应用开发环境

查看更多 →

配置Kafka后进先出 配置场景 当Spark Streaming应用与Kafka对接，Spark Streaming应用异常终止并从checkpoint恢复重启后，对于进入Kafka数据的任务，系统默认优先处理应用终止前（A段时间）未完成的任务和应用终止到重启完成这段时间内（B

查看更多 →

式。 sql-client.sh -f test.sql -v 通过FlinkSQL Client提交作业 MRS集群中已安装Flink组件且集群内各组件正常运行。 已安装集群客户端，例如安装目录为“/opt/hadoopclient”。 以客户端安装用户，登录安装客户端的节点。

查看更多 →

分布式消息服务Kafka版 本章节介绍在创建事件流时，如何配置分布式消息服务Kafka版实例为事件源。 前提条件 已在分布式消息服务Kafka版中购买Kafka实例 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流”，进入“事件流”页面。 单击“创建事件流”。 在弹窗中输

查看更多 →

<artifactId>dws-client</artifactId> <version>${version}</version> </dependency> 场景使用 前提条件：初始化client 以下举例为最简单的方式，只需要数据库的连接配置即可，其余配置均采用默认配置： 1 2 3 4

查看更多 →

通过公网访问Kafka（开启SSL加密）。 关闭公网访问（不支持修改SASL开关） 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。

查看更多 →

IAM认证：接口只允许云用户访问。 DataArts Studio 服务给接口发送消息的时候，会在请求消息头中带上当前用户的认证信息。 无认证：接口不需要身份认证 用户名密码认证：接口需要访问者输入账号和密码信息。DataArts Studio服务发送消息的时候，会在请求消息头中带上Authorization字段。

查看更多 →

开启/关闭SSL双向认证将重启实例，请谨慎操作。 前提条件 已准备一台Linux系统的服务器。 实例已开启Kafka SASL_SSL。 配置SSL双向认证流程 图1 配置SSL双向认证流程图 步骤一：制作客户端验证服务端的证书 登录Linux系统的服务器，执行以下命令，生成server.keystore.jks证书的孵化器。

查看更多 →

Connect。 已创建Kafka实例，且实例状态为“运行中”。 已创建Topic。 配置Kafka数据转储至OBS 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。

查看更多 →

配置MRS Kafka数据连接 表1 MRS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 MRS Kafka连接固定选择为MapReduce服务（MRS Kafka）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。

查看更多 →

配置Flink对接Kafka安全认证 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。 确保集群安装完成，包括HDFS、Yarn、Flink和Kafka。 创建Topic。 用户使用Linux命令行

查看更多 →

配置Flink对接Kafka安全认证 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。 确保集群安装完成，包括HDFS、Yarn、Flink和Kafka。 创建Topic。 用户使用Linux命令行

查看更多 →

配置对接Kafka可靠性 配置场景 Spark Streaming对接Kafka时，当Spark Streaming应用重启后，应用根据上一次读取的topic offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的。 Kafka服务的top

查看更多 →

Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →

已安装Kafka客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。 kinit 组件业务用户

查看更多 →