检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
950808 转 1
预约咨询
工单提交
我有建议
未实名认证
已实名认证
立即前往
立即购买
9095 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(密文接入)。 登录Kafka控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 单击Kafka实例的名称,进入实例的“概览”页面。 在“连接信息”区域,获取并记录“内网连接地址”的IPv6地址
查看更多 →
自定义认证配置 推送的日志中,需要携带的自定义认证信息。 前端:填写日志中要携带的前端自定义认证的响应字段信息,多个字段间使用英文逗号(,)分隔。 后端:填写日志中要携带的后端自定义认证的响应字段信息,多个字段间使用英文逗号(,)分隔。 单击“确定”,完成插件策略的创建。 插件
配置Kafka的SSL双向认证 SSL双向认证是指在通信认证时,将同时验证客户端和服务端的证书,以确保通信中涉及的双方都是受信任的。 开启SSL双向认证,主要用于对安全性要求较高的场景。 SSL双向认证功能为受限使用,需要提交工单申请开通。 配置SSL双向认证的流程如图1所示。 图1
自定义认证配置 推送的日志中,需要携带的自定义认证信息。 前端:填写日志中要携带的前端自定义认证的响应字段信息,多个字段间使用英文逗号(,)分隔。 后端:填写日志中要携带的后端自定义认证的响应字段信息,多个字段间使用英文逗号(,)分隔。 单击“确定”。 在策略列表中显示已创建的策略,表示策略创建成功。
偏移量参数 从Kafka拉取数据时的初始偏移量: 最新:最大偏移量,即拉取最新的数据。 最早:最小偏移量,即拉取最早的数据。 已提交:拉取已提交的数据。 时间范围:拉取时间范围内的数据。 最新 抽取数据最大运行时间 持续拉取数据时间。如天调度作业,根据每天topic产生的数据量,配置足够的拉取时间。单位:分钟。
Connect任务启动后,会按照每分钟一次的同步周期,定期向目标Topic同步配置信息。 定时同步支持的配置参数,请参见表2。 消息数据 源Topic中的消息数据会实时同步到目标Topic中。 表2 Topic支持同步的配置参数 初始化同步支持的配置参数 定时同步支持的配置参数 分区数 分区数 注意:
在gx01节点、gx02和gx03三个节点对应的服务器分别执行第一步至第六步的步骤。 进入confluent-5.0.0.tar安装包的/opt/目录;命令行界面输入: cd /opt/ 图1 进入 解压confluent-5.0.0.tar安装包;命令行界面输入: tar -xvf confluent-5
Controller连接Broker的超时时间。 单位:毫秒。 30000 该参数取值一般不需要调整。 group.max.session.timeout.ms Consumer注册时允许的最大会话超时时间。 单位:毫秒。 1800000 允许Consumer配置的session.timeout.ms的最大值(不包含此值)。
单击已设置用户权限的Topic名称,进入Topic详情页面。 单击“用户权限”,进入“用户权限”页签。 查看已设置的用户权限。 图5 查看已经授权的用户及其对应的权限 登录Kafka控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 单击Kafka实例名称,进入实例详情页面。
/“设置了用户名和客户端ID”,选择新创建的流控所属的分类,然后在搜索框中输入新创建的流控名称,按“Enter” 图2 查看新创建的流控 登录Kafka控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“实例管理
如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。 consumer-group 消费记录策略 消费record策略。 起止时间:根据kafka record元数据TIMESTAMP判断,抽取的record是否符合填入的起止时间范围。当消费到的recor
勾选用户名左侧的方框,可选一个或多个,单击信息栏左上侧的“删除”。 在弹出的“删除用户”对话框中,单击“确定”,完成用户的删除。 已删除的用户不再显示在用户列表中,表明用户已成功删除。 导出用户列表 登录Kafka控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 单击Kafka实例名称,进入实例详情页面。
ZooKeeper的任意一个节点的业务IP:clientPort/kafka 使用kafka-topics.sh查看修改后主题: 方法一: ./kafka-topics.sh --describe --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka
> 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考使用 MRS 客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“
修改标签键/值,单击“确定”,完成标签的修改。 在已修改标签的Kafka实例所在行,单击“更多 > 编辑标签”,弹出“编辑标签”对话框。查看修改后的标签键/值。 删除标签 在待删除的标签所在行,单击“删除”。然后单击“确定”,完成标签的删除。 在已删除标签的Kafka实例所在行,单击“更多 >
Kafka允许的最大批处理大小,如果启用消息压缩,则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值,且存在消费者版本早于0.10.2,此时消费者的“fetch size”值也必须增加,以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 约束与限制 当副本数为1时,不能开启同步复制功能。
Controller连接Broker的超时时间。单位:毫秒。 30000 Controller连接Broker的超时时间,一般不需要调整。 group.max.session.timeout.ms Consumer注册时允许的最大会话超时时间。单位:毫秒。 1800000 允许Consumer配置的session
int(单位:毫秒) 指定服务器在返回响应之前等待数据的最长时间。例如:fetch.max.wait.ms=1000。 配置方法 在管理中心服务的界面中,找到Kafka数据源的配置部分。 在连接属性配置区域,单击“添加”按钮,增加新的连接属性配置项。 根据您的需求,填写属性名称和对应的值。您可以参考上表中的描述来选择合适的属性和值。
成功关闭明文接入。 配置Kafka实例的密文接入 密文接入表示客户端连接Kafka实例时,需要进行SASL认证。 开启密文接入 关闭密文接入 登录Kafka控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 单击Kafka实例的名称,进入实例的“概览”页面。 密文接
按源端分区投递到对应的Partition:源端消息在第n个分区,则投递到目的端的第n个分区,该策略可以保证消息顺序。 按轮询模式投递到不同的Partition:采用Kafka粘性分区策略均匀的投递到目的端主题的所有分区,该策略无法保证消息顺序。 新建Topic的Partition数量
联系我们
您找到想要的内容了吗?
意见反馈
0/200
提交 取消
kafka配置
配置kafka
kafka 配置
kafka acks 配置
kafka client 配置
kafka key 配置
kafka client配置
kafka 推荐配置
kafka client 配置 producing
kafka参数配置