更新时间:2024-08-03 GMT+08:00

准备连接Kafka集群配置文件

应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,用于验证应用程序运行。

  • 场景一:准备本地Windows开发环境调测程序所需配置文件。
    1. 登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端”(MRS 3.3.0-LTS及之后版本,在“主页”右上方选择“更多 > 下载客户端”),“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。

      例如,客户端配置文件压缩包为“FusionInsight_Cluster_1_Services_Client.tar”,解压后得到“FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar”,继续解压该文件。

    2. 进入客户端配置文件解压路径的“Kafka\config”,获取Kafka表1中相关配置文件。
      表1 配置文件

      配置文件

      作用

      client.properties

      Kafka的客户端的配置信息。

      consumer.properties

      Kafka的consumer端配置信息。

      producer.properties

      Kafka的producer端配置信息。

      server.properties

      Kafka的服务端的配置信息。

    3. 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。
      • 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。
      • 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问集群Kafka
      • Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。
  • 场景二:准备Linux环境运行程序所需配置文件。
    1. 在节点中安装MRS集群客户端。

      例如客户端安装目录为“/opt/client”。

    2. 获取配置文件:
      1. 登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端”(MRS 3.3.0-LTS及之后版本,在“主页”右上方选择“更多 > 下载客户端”),“选择客户端类型”设置为“仅配置文件”,勾选“仅保存到如下路径”,单击“确定”,下载客户端配置文件至集群主OMS点。
      2. root登录主OMS节点,进入客户端配置文件所在路径(默认为“/tmp/FusionInsight-Client/”),解压软件包后获取“Kafka/config”路径下的表1中相关配置文件。

        例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”:

        cd /tmp/FusionInsight-Client

        tar -xvf FusionInsight_Cluster_1_Services_Client.tar

        tar -xvf FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar

        cd FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles

        scp Kafka/install_files/kafka/libs/* root@客户端节点IP地址:/opt/client/lib

    3. 检查客户端节点网络连接。

      在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。