配置Logstash公网访问
CSS服务的Logstash作为数据接入服务,面对公网数据源,需配置特定参数实现数据读取,再将数据写入目标存储系统,保障数据流转顺畅,满足企业大数据分析、日志管理等需求。通过NAT网关与回程路由协同配置,Logstash集群能顺利访问公网数据,完成采集,后续按设定流程写入目标存储系统,实现跨网络数据接入处理。
- NAT网关:给Logstash集群配上NAT网关,赋予其公网出口能力,让集群能主动发起对外网数据源的连接请求,突破内网限制,触及互联网数据。
- 回程路由:设置回程路由,指引Logstash节点访问公网数据源IP地址,确保数据从公网流入Logstash后,能按既定路径返回,避免数据传输中断或流向错误。
约束限制
- Logstash公网访问依赖NAT网关和弹性公网IP,需要单独购买,并确保与Logstash集群在同一区域。
- 给公网NAT网关添加的SNAT规则仅对绑定子网内的资源生效,需确保子网与Logstash集群一致。
配置Logstash集群访问公网
- 获取Logstash集群所在的VPC和子网信息,用于后续配置NAT网关。
- 登录云搜索服务管理控制台。
- 左侧导航栏选择“集群管理 > Logstash”,进入集群列表页面。
- 单击目标集群名称,进入集群详情页。
- 记录集群的“虚拟私有云”和“子网”信息。
- 创建公网NAT网关,为Logstash集群提供访问公网的出口。
- 登录NAT网关管理控制台,进入“网络连接 > NAT网关 > 公网NAT网关”。
- 单击“购买公网NAT网关”,配置以下参数。
- 单击“立即购买”,确认配置无误后,单击“提交”,开始创建公网NAT网关。
当状态为“运行中”时,表示公网NAT网关创建成功。
- 添加SNAT规则,允许Logstash集群通过NAT网关共享弹性公网IP访问公网。
进入NAT网关控制台,单击已创建的NAT网关名称。
- 登录NAT网关管理控制台,进入“网络连接 > NAT网关 > 公网NAT网关”。
- 选择新建的公网NAT网关,单击名称进入详情页。
- 在SNAT规则页签下,单击“添加SNAT规则”,配置以下参数。
配置Logstash集群路由
配置Logstash集群的回程路由,使Logstash节点能正常访问公网数据源的IP地址。回程路由需覆盖所有公网数据源的IP网段。
- 登录云搜索服务管理控制台。
- 左侧导航栏选择“集群管理 > Logstash”,进入集群列表页面。
- 在集群列表选择目标集群,单击集群名称,进入集群基本信息页面。
- 单击“集群路由”后面的“添加路由”。
图1 添加路由
- 在“添加路由”弹窗中,配置路由信息。
表3 添加路由 参数
说明
ip地址
填写数据源的IP地址或网段,例如“10.10.1.0”。
如果数据源IP地址分散,可添加多条路由规则。
子网掩码
填写“ip地址”对应的子网掩码。
子网掩码必须与IP地址的网段匹配,即:- 子网掩码的网络位(1的部分)必须覆盖IP地址的网络位。
- IP地址的主机位(0的部分)必须在子网掩码定义的主机范围内。
子网掩码的范围不宜过大,避免不必要的IP暴露或资源浪费。通常建议使用 /24(即 255.255.255.0),适用于大多数内部网络场景。
- 单击“确定”添加路由。
添加完成后,单击“查看路由”,可以查看已添加的路由信息;单击“添加路由”,可以继续增加路由信息;单击“删除路由”,选择路由后输入DELETE,单击“确定”即可删除路由。
验证网络连通性
在Logstash集群测试数据源和Logstash集群的网络是否连通。
- 登录云搜索服务管理控制台。
- 左侧导航栏选择“集群管理 > Logstash”,进入集群列表页面。
- 在集群列表选择目标集群,单击集群操作列的“配置中心”,进入配置中心页面。
- 在配置中心页面,单击“连通性测试”。
- 在连通性测试弹窗中,输入数据源的IP地址和端口号,单击“测试”。
图2 连通性测试
当显示“可用”时,表示Logstash集群和数据源之前网络连通。
连通性测试最多可一次性测试10个IP地址。您可以单击“继续添加”,添加多个IP地址,然后单击“批量测试”,进行一次性测试多个IP地址的连通性。