更新时间:2024-05-06 GMT+08:00
分享

Kafka的安装

Kafka集群安装

  • 上传confluent安装包
    表1 上传confluent安装包

    安装服务器

    gx01节点、gx02节点、gx03节点

    程序名称

    Kafka

    上传路径

    /opt/

    程序安装路径

    /usr/local/confluent

  • 安装步骤

    gx01节点、gx02gx03三个节点对应的服务器分别执行第一步至第六步的步骤。

    1. 进入confluent-5.0.0.tar安装包的/opt/目录;命令行界面输入:
      cd /opt/
      图1 进入
    2. 解压confluent-5.0.0.tar安装包;命令行界面输入:
      tar -xvf confluent-5.0.0.tar
      图2 解压
    3. 将解压后的文件移动至/usr/local/confluent目录下;命令行界面输入:
      mv confluent-5.0.0 /usr/local/confluent
      图3 移动
    4. 进入/usr/local/confluent目录下;命令行界面输入:
      cd /usr/local/confluent/
      图4 进入
    5. zookeeper集群配置,编辑zookeeper.properties配置文件;命令行界面输入:
      cd etc/kafka/
      vim zookeeper.properties
      图5 配置文件1
      图6 配置文件2
    6. 更改zookeeper.properties配置文件的参数;命令行界面输入:
      server.1=IP1:2888:3888
      server.2=IP2:2888:3888
      server.3=IP3:2888:3888

      此处配置的IP1、IP2、IP3分别为gx01、gx02、gx03三个节点的服务器地址。

      图7 配置文件参数
    7. kafka集群配置,编辑server.properties配置文件;命令行界面输入:
      vim server.properties
      图8 编辑
    8. 更改server.properties配置文件的参数
      1# 集群中各节点broker.id必须唯一
      broker.id=0
      图9 更改1
      2# host.name和 advertised.listeners为各节点的主机IP
      host.name=【本机IP】
      advertised.listeners=PLAINTEXT://【本机IP】:9092
      图10 修改2
      图11 修改3
      图12 修改4
      3# 修改zookeeper.connect为zookeeper集群配置地址,三个节点修改的一致
      zookeeper.connect=IP1:2181,IP2:2181,IP3:2181
      图13 修改5

      :wq保存退出!

    9. schema-registry 集群配置;命令行界面输入:
      cd ../../etc/schema-registry/
      vim schema-registry.properties
      图14 配置
    10. 更改schema-registry.properties配置文件

      1# 修改listeners为各节点主机IP

      listeners=http://【本机IP】:8086
      图15 更改1

      2# 修改kafkastore.connection.url为三个节点的主机IP,三个节点修改的一致

      kafkastore.connection.url=IP1:2181,IP2:2181,IP3:2181
      图16 更改2

      :wq保存退出!

    11. kafka connect集群配置;命令行界面输入:
      vim connect-avro-distributed.properties
      图17 更改3
    12. 更改connect-avro-distributed.properties配置文件

      1# 修改bootstrap.servers为三个节点的主机IP,三个节点修改的一致

      bootstrap.servers=IP1:9092,IP2:9092,IP3:9092
      图18 主机IP1

      2# 修改key.converter.schema.registry.url为三个节点的主机IP,三个节点修改的一致

      key.converter.schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086
      图19 主机IP2

      3# 修改value.converter.schema.registry.url为三个节点的主机IP,三个节点修改的一致

      value.converter.schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086
      图20 主机IP3

      4# 修改rest.host.name为各节点的主机IP

      rest.host.name=【本机IP】
      图21 主机IP4

      :wq保存退出!

    13. kafka rest 配置

      命令行界面输入:

      cd ../kafka-rest/
      vim kafka-rest.properties
      图22 配置
    14. 更改kafka-rest.properties配置文件

      1# 修改host.name为各节点主机IP

      host.name=【本机IP】
      图23 更改主机IP1

      2# 修改schema.registry.url为三个节点的主机IP,三个节点修改的一致

      schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086
      图24 更改主机IP2

      3# 修改bootstrap.servers为三个节点的主机IP,三个节点修改的一致

      bootstrap.servers=IP1:9092,IP2:9092,IP3:9092
      图25 更改主机IP3

      :wq保存退出!

    15. 创建myid文件

      在三个节点/home/confluent/confluent.data/zookeeper/data目录下,创建myid文件并写入对应编号;命令行界面输入:

      --没有路径创建路径;mkdir -p /home/confluent/confluent.data/zookeeper/data
      cd /home/confluent/confluent.data/zookeeper/data/

      执行:touch myid

      vim myid
      图26 创建myid文件
  • Confluent启动

    分别进入三个节点主机的 cd /usr/local/confluent/bin/目录下;命令行界面输入:

    ./confluent start schema-registry
    图27 Confluent启动
  • Confluent状态查看

    分别进入三个节点主机的/usr/local/confluent/bin/目录下;命令行界面输入:

    ./confluent status

    启动命令

    ./confluent start schema-registry

    5.5 版本启动

    ./confluent local start schema-registry
  • Confluent关闭

    分别进入三个节点主机的/usr/local/confluent/bin/目录下;命令行界面输入:

    ./confluent stop schema-registry

相关文档