安装Kafka 简介 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 本教程介绍如何在HCE 2.0上安装部署Kafka。

查看更多 →

Kafka的安装 Kafka集群安装 上传confluent安装包 表1 上传confluent安装包 安装 服务器 gx01节点、gx02节点、gx03节点 程序名称 Kafka 上传路径 /opt/ 程序安装路径 /usr/local/confluent 安装步骤 在gx01节

查看更多 →

图7 选择IIS服务角色 图8 选择服务角色 （可选）选择“网络策略和访问服务 ”，进入选择网络策略和访问服务窗口，默认勾选“网络策略服务器”选项。 图9 选择网络策略和访问服务 确认配置选择，单击“安装”，请耐心等待安装进度完成。 图10 安装服务器角色 安装进度结束后，单击“

查看更多 →

配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：

查看更多 →

选择网络策略和访问服务 确认配置选择，单击“安装”，请耐心等待安装进度完成。 图10 安装服务器角色 安装进度结束后，单击“关闭”并重启应用发布服务器，即服务器角色安装完成。 父主题： 安装Windows Server 2016应用服务器

查看更多 →

选择网络策略和访问服务 确认配置选择，单击“安装”，请耐心等待安装进度完成。 图10 安装服务器角色 安装进度结束后，单击“关闭”并重启应用发布服务器，即服务器角色安装完成。 父主题： 安装Windows Server 2019应用服务器

查看更多 →

配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：

查看更多 →

在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例的名称，进入实例详情页面。

查看更多 →

Kafka常用配置参数 本章节内容适用于 MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务全部配置页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect

查看更多 →

配置Kafka源端参数 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式： JSON：以JSON格式解析源数据。 CS V格式：以CSV格式解析源数据。 JSON格式

查看更多 →

配置Kafka实例标签 标签是Kafka实例的标识，为Kafka实例添加标签，可以方便用户识别和管理拥有的Kafka实例资源。 您可以在创建Kafka实例时添加标签，也可以在Kafka实例创建完成后，在“标签”页面添加标签，您最多可以给实例添加20个标签。另外，您还可以删除标签。

查看更多 →

修改Kafka Topic配置 本章节指导您在控制台修改如表1所示Kafka Topic的配置。 修改同步复制、同步落盘、消息时间戳类型、批处理消息最大值和描述，不会重启实例。 表1 Kafka Topic的配置参数 参数名称 说明 分区数 Topic的分区数，修改方法请参见修改Kafka

查看更多 →

Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect

查看更多 →

为代理服务器安装配置nginx nginx负责将第三方服务器的请求转发至HSS后台管理后台。 为代理服务器安装配置nginx 登录代理服务器 检查yum源 检查yum源是否有nginx软件包，如果没有nginx软件包需完成配置yum源，并临时绑定公网IP，待安装结束之后再解绑公网IP。

查看更多 →

在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例名称，进入实例详情页面。

查看更多 →

根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。

查看更多 →

根据业务情况，准备好客户端，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env

查看更多 →

安装实验服务器（Agent） 解压与执行安装程序 实验主机的安装程序与主控机器的安装程序是一套程序，解压与执行部署请参考主控机器的第1和第2步。通过安装类型进行区分，选择2即可。（选择性安装） 图1 解压与执行安装程序 设置数据库信息 依次输入数据库的地址，用户名和密码，回车即可。

查看更多 →

安装配置 Agent管理 采集配置 配置中心

查看更多 →

安装和配置 安装： 用户上架后，管理台检查通过审批提交后，后台自动安装上架时上传的适配器软件包应用到环境中。 配置： 应用开通文件为ROMA Exchange适配器（流水线式）框架，该适配器不需要通过适配器配置页定义适配器引入参数（如来源配置），适配器内部可以通过系统参数或配置文

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →