Kafka的安装
Kafka集群安装
- 上传confluent安装包
表1 上传confluent安装包 安装服务器
gx01节点、gx02节点、gx03节点
程序名称
Kafka
上传路径
/opt/
程序安装路径
/usr/local/confluent
- 安装步骤
在gx01节点、gx02和gx03三个节点对应的服务器分别执行第一步至第六步的步骤。
- 进入confluent-5.0.0.tar安装包的/opt/目录;命令行界面输入:
cd /opt/
图1 进入
- 解压confluent-5.0.0.tar安装包;命令行界面输入:
tar -xvf confluent-5.0.0.tar
图2 解压
- 将解压后的文件移动至/usr/local/confluent目录下;命令行界面输入:
mv confluent-5.0.0 /usr/local/confluent
图3 移动
- 进入/usr/local/confluent目录下;命令行界面输入:
cd /usr/local/confluent/
图4 进入
- zookeeper集群配置,编辑zookeeper.properties配置文件;命令行界面输入:
cd etc/kafka/ vim zookeeper.properties
图5 配置文件1
图6 配置文件2
- 更改zookeeper.properties配置文件的参数;命令行界面输入:
server.1=IP1:2888:3888 server.2=IP2:2888:3888 server.3=IP3:2888:3888
此处配置的IP1、IP2、IP3分别为gx01、gx02、gx03三个节点的服务器地址。
图7 配置文件参数
- kafka集群配置,编辑server.properties配置文件;命令行界面输入:
vim server.properties
图8 编辑
- 更改server.properties配置文件的参数
2# host.name和 advertised.listeners为各节点的主机IP
host.name=【本机IP】 advertised.listeners=PLAINTEXT://【本机IP】:9092
图10 修改2
图11 修改3
图12 修改4
3# 修改zookeeper.connect为zookeeper集群配置地址,三个节点修改的一致zookeeper.connect=IP1:2181,IP2:2181,IP3:2181
图13 修改5
:wq保存退出!
- schema-registry 集群配置;命令行界面输入:
cd ../../etc/schema-registry/ vim schema-registry.properties
图14 配置
- 更改schema-registry.properties配置文件
listeners=http://【本机IP】:8086
图15 更改1
2# 修改kafkastore.connection.url为三个节点的主机IP,三个节点修改的一致
kafkastore.connection.url=IP1:2181,IP2:2181,IP3:2181
图16 更改2
:wq保存退出!
- kafka connect集群配置;命令行界面输入:
vim connect-avro-distributed.properties
图17 更改3
- 更改connect-avro-distributed.properties配置文件
1# 修改bootstrap.servers为三个节点的主机IP,三个节点修改的一致
bootstrap.servers=IP1:9092,IP2:9092,IP3:9092
图18 主机IP1
2# 修改key.converter.schema.registry.url为三个节点的主机IP,三个节点修改的一致
key.converter.schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086
图19 主机IP2
3# 修改value.converter.schema.registry.url为三个节点的主机IP,三个节点修改的一致
value.converter.schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086
图20 主机IP3
4# 修改rest.host.name为各节点的主机IP
rest.host.name=【本机IP】
图21 主机IP4
:wq保存退出!
- kafka rest 配置
cd ../kafka-rest/ vim kafka-rest.properties
图22 配置
- 更改kafka-rest.properties配置文件
host.name=【本机IP】
图23 更改主机IP1
2# 修改schema.registry.url为三个节点的主机IP,三个节点修改的一致
schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086
图24 更改主机IP2
3# 修改bootstrap.servers为三个节点的主机IP,三个节点修改的一致
bootstrap.servers=IP1:9092,IP2:9092,IP3:9092
图25 更改主机IP3
:wq保存退出!
- 创建myid文件
在三个节点/home/confluent/confluent.data/zookeeper/data目录下,创建myid文件并写入对应编号;命令行界面输入:
--没有路径创建路径;mkdir -p /home/confluent/confluent.data/zookeeper/data cd /home/confluent/confluent.data/zookeeper/data/
执行:touch myid
vim myid
图26 创建myid文件
- 进入confluent-5.0.0.tar安装包的/opt/目录;命令行界面输入:
- Confluent启动
分别进入三个节点主机的 cd /usr/local/confluent/bin/目录下;命令行界面输入:
./confluent start schema-registry
图27 Confluent启动
- Confluent状态查看
分别进入三个节点主机的/usr/local/confluent/bin/目录下;命令行界面输入:
./confluent status
启动命令
./confluent start schema-registry
5.5 版本启动
./confluent local start schema-registry
- Confluent关闭
分别进入三个节点主机的/usr/local/confluent/bin/目录下;命令行界面输入:
./confluent stop schema-registry