Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →

Broker的时间。 消息键（Key）与消息体（Value）的格式 Kafka消息的消息键和消息体部分都可以使用某种格式来序列化或反序列化成二进制数据。 消息体格式 由于 Kafka 消息中消息键是可选的，以下语句将使用消息体格式读取和写入消息，但不使用消息键格式。 'format'

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS 应用开发开源jar包冲突列表说明

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明

查看更多 →

Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍

查看更多 →

，那么将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka，建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 参考修改集群服务配置参数进入Kafka服务全部配置页面，在服务端配置如表1中参数。 表1 服务端高可用性和高性能参数说明 参数 默认值

查看更多 →

安装Kafka 简介 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 本教程介绍如何在HCE OS 2.0上安装部署Kafka。

查看更多 →

的副本数，那么将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka，建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 在服务端配置如表1中参数，参数配置入口请参考修改集群服务配置参数。 表1 服务端高可用性和高性能参数说明 参数 默认值 说明

查看更多 →

分布式消息（Kafka） 分布式消息（Kafka）连接器包含“Topic列表”、“发送数据”、“指定分区发送”三个执行动作和“消费消息”一个触发事件。 连接参数 创建分布式（Kafka）连接时连接参数说明如表1所示。如果需要连接的Kafka配置了IP地址白名单限制，则需要放通 集成工作台 公网出口访问地址“124

查看更多 →

Kafka客户端参数配置建议 Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同，以下配置参数适用于1.1.0及以上版本。其他参数和版本配置，请参考Kafka配置。 表1 Producer参数 参数

查看更多 →

导入并配置Kafka样例工程 获取样例工程文件夹。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码，将准备连接Kafka集群配置文件时获取的

查看更多 →

已准备开发环境及MRS集群相关配置文件，详情请参考准备连接Kafka集群配置文件。 操作步骤 获取样例工程文件夹。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码

查看更多 →

进入客户端配置文件解压路径的“Kafka\config”，获取Kafka表1中相关配置文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 kafkaSecurityMode

查看更多 →

进入客户端配置文件解压路径的“Kafka\config”，获取Kafka表1中相关配置文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 producer

查看更多 →

Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。 配置后应重启对应服务使参数生效。 Kafka服务端的传输加密相关配置参数如表1所示。 表1 Kafka服务端传输加密参数 配置项 描述 默认值 ssl.mode.enable

查看更多 →

实例名称：选择已创建的Kafka实例。 实例名称 “配置类型”为“实例名称”时，需要设置。 在下拉列表中，选择已创建的Kafka实例。 对端Kafka实例必须和当前Kafka实例处于相同的VPC下，否则无法识别。 Kafka地址 “配置类型”为“Kafka地址”时，需要设置。 输入Kafka实例的连接地址和端口号。

查看更多 →

获取推荐结果 在线服务创建完成，部署成功后，当服务状态会显示“运行中”，表示服务状态正常。您可以通过在线预测功能测试推荐结果进一步调整作业参数，也可以通过预测接口来调用API，获取推荐结果。 在线预测 登录RES管理控制台，在左侧菜单栏中选择“在线服务”，进入服务列表页面。 单击

查看更多 →

String 消息体的类型（格式），下方类型可任选其一使用： application/json;charset=utf-8 application/json X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）

查看更多 →

object 部署任务触发场景配置 arrange_infos 否 Array of TaskV2RequestBody objects 部署任务列表信息 表3 TaskTriggerVO 参数 是否必选 参数类型 描述 trigger_source 否 String 部署任务允许执

查看更多 →

游走过程提前结束参数：候选推荐节点访问次数的最小值。 说明： 对于一个节点，如果其在随机游走过程被访问到，且被访问到的次数达到“nv”，则该节点将记入候选推荐的节点。 Integer 1~10。 5 np 否 游走过程提前结束参数：候选推荐节点个数。 说明： 若某个source节点的候选推荐节点达到

查看更多 →

推荐配套产品 在RR选择共部署的单层Hub-Spoke组网中，一般Hub站点的AR既是站点的网关，又要承担RR的职责，所以需要高性能的AR设备。Spoke站点根据站点业务规模选择AR。 本场景推荐的设备款型如表1所示。 表1 推荐款型 站点 设备款型 总部Hub站点/数据中心站点

查看更多 →