更新时间:2025-07-29 GMT+08:00

配置Logstash公网访问

CSS服务的Logstash作为数据接入服务,面对公网数据源,需配置特定参数实现数据读取,再将数据写入目标存储系统,保障数据流转顺畅,满足企业大数据分析、日志管理等需求。通过NAT网关与回程路由协同配置,Logstash集群能顺利访问公网数据,完成采集,后续按设定流程写入目标存储系统,实现跨网络数据接入处理。

  • NAT网关:给Logstash集群配上NAT网关,赋予其公网出口能力,让集群能主动发起对外网数据源的连接请求,突破内网限制,触及互联网数据。
  • 回程路由:设置回程路由,指引Logstash节点访问公网数据源IP地址,确保数据从公网流入Logstash后,能按既定路径返回,避免数据传输中断或流向错误。

约束限制

  • Logstash公网访问依赖NAT网关和弹性公网IP,需要单独购买,并确保与Logstash集群在同一区域。
  • 给公网NAT网关添加的SNAT规则仅对绑定子网内的资源生效,需确保子网与Logstash集群一致。

配置Logstash集群访问公网

  1. 获取Logstash集群所在的VPC和子网信息,用于后续配置NAT网关。

    1. 登录云搜索服务管理控制台。
    2. 左侧导航栏选择“集群管理 > Logstash”,进入集群列表页面。
    3. 单击目标集群名称,进入集群详情页。
    4. 记录集群的“虚拟私有云”“子网”信息。

  2. 创建公网NAT网关,为Logstash集群提供访问公网的出口。

    1. 登录NAT网关管理控制台,进入“网络连接 > NAT网关 > 公网NAT网关”
    2. 单击“购买公网NAT网关”,配置以下参数。
      其他参数可以保持默认值,或基于业务需要参考购买公网NAT网关配置。
      表1 配置公网NAT网关

      参数

      说明

      区域

      与Logstash集群保持一致。

      规格

      根据业务带宽需求选择,不同规格的SNAT支持最大连接数有差异。

      虚拟私有云

      选择1中记录的VPC。

      子网

      选择1中记录的子网。

    3. 单击“立即购买”,确认配置无误后,单击“提交”,开始创建公网NAT网关。

      当状态为“运行中”时,表示公网NAT网关创建成功。

  3. 添加SNAT规则,允许Logstash集群通过NAT网关共享弹性公网IP访问公网。

    进入NAT网关控制台,单击已创建的NAT网关名称。

    1. 登录NAT网关管理控制台,进入“网络连接 > NAT网关 > 公网NAT网关”
    2. 选择新建的公网NAT网关,单击名称进入详情页。
    3. 在SNAT规则页签下,单击“添加SNAT规则”,配置以下参数。
      其他参数可以保持默认值,或基于业务需要参考添加SNAT规则配置。
      表2 添加SNAT规则

      参数

      说明

      使用场景

      选择“虚拟私有云”

      网段

      选择“使用已有”,选择1中记录的VPC。

      公网IP类型

      选择“弹性公网IP”,勾选满足要求的IP。

      如果没有可选的弹性公网IP,可以单击“查看弹性公网IP”跳转到弹性公网IP列表页,申请弹性公网IP

      弹性公网IP的建议配置如下:

      • “计费模式”“按需计费”
      • “公网带宽”“按流量计费”

配置Logstash集群路由

配置Logstash集群的回程路由,使Logstash节点能正常访问公网数据源的IP地址。回程路由需覆盖所有公网数据源的IP网段。

  1. 登录云搜索服务管理控制台。
  2. 左侧导航栏选择“集群管理 > Logstash”,进入集群列表页面。
  3. 在集群列表选择目标集群,单击集群名称,进入集群基本信息页面。
  4. 单击“集群路由”后面的“添加路由”
    图1 添加路由
  5. “添加路由”弹窗中,配置路由信息。
    表3 添加路由

    参数

    说明

    ip地址

    填写数据源的IP地址或网段,例如“10.10.1.0”

    如果数据源IP地址分散,可添加多条路由规则。

    子网掩码

    填写“ip地址”对应的子网掩码。

    子网掩码必须与IP地址的网段匹配,即:
    • 子网掩码的网络位(1的部分)必须覆盖IP地址的网络位。
    • IP地址的主机位(0的部分)必须在子网掩码定义的主机范围内。

    子网掩码的范围不宜过大,避免不必要的IP暴露或资源浪费。通常建议使用 /24(即 255.255.255.0),适用于大多数内部网络场景。

  6. 单击“确定”添加路由。

    添加完成后,单击“查看路由”,可以查看已添加的路由信息;单击“添加路由”,可以继续增加路由信息;单击“删除路由”,选择路由后输入DELETE,单击“确定”即可删除路由。

验证网络连通性

在Logstash集群测试数据源和Logstash集群的网络是否连通。

  1. 登录云搜索服务管理控制台。
  2. 左侧导航栏选择“集群管理 > Logstash”,进入集群列表页面。
  3. 在集群列表选择目标集群,单击集群操作列的“配置中心”,进入配置中心页面。
  4. 在配置中心页面,单击“连通性测试”
  5. 在连通性测试弹窗中,输入数据源的IP地址和端口号,单击“测试”
    图2 连通性测试

    当显示“可用”时,表示Logstash集群和数据源之前网络连通。

    连通性测试最多可一次性测试10个IP地址。您可以单击“继续添加”,添加多个IP地址,然后单击“批量测试”,进行一次性测试多个IP地址的连通性。