配置Logstash公网访问
CSS服务的Logstash作为数据接入服务,面对公网数据源,需配置特定参数实现数据读取,再将数据写入目标存储系统,保障数据流转顺畅,满足企业大数据分析、日志管理等需求。通过NAT网关与回程路由协同配置,Logstash集群能顺利访问公网数据,完成采集,后续按设定流程写入目标存储系统,实现跨网络数据接入处理。
- NAT网关:给Logstash集群配上NAT网关,赋予其公网出口能力,让集群能主动发起对外网数据源的连接请求,突破内网限制,触及互联网数据。
- 回程路由:设置回程路由,指引Logstash节点访问公网数据源IP地址,确保数据从公网流入Logstash后,能按既定路径返回,避免数据传输中断或流向错误。
约束限制
- Logstash公网访问依赖NAT网关和弹性公网IP,需要单独购买,并确保与Logstash集群在同一区域。
- 给公网NAT网关添加的SNAT规则仅对绑定子网内的资源生效,需确保子网与Logstash集群一致。
配置Logstash集群访问公网
- 获取Logstash集群所在的VPC和子网信息,用于后续配置NAT网关。
- 登录云搜索服务管理控制台。
- 在左侧导航栏,选择“集群管理 > Logstash”。
- 在集群列表,单击目标集群名称,进入集群详情页。
- 选择“概览”页签,在“配置信息”下方,获取并记录集群的“虚拟私有云”和“子网”信息。
- 参考购买公网NAT网关创建公网NAT网关,为Logstash集群提供访问公网的出口。
- 给已创建的NAT网关添加SNAT规则,允许Logstash集群通过NAT网关共享弹性公网IP访问公网。
关键参数配置如表2所示,其他参数请根据业务需求配置。
配置Logstash集群路由
配置Logstash集群的回程路由,使Logstash节点能正常访问公网数据源的IP地址。回程路由需覆盖所有公网数据源的IP网段。
- 登录云搜索服务管理控制台。
- 在左侧导航栏,选择“集群管理 > Logstash”。
- 在集群列表,单击目标集群名称,进入集群详情页。
- 选择“概览”页签,单击“配置信息”下方“集群路由”后面的“添加路由”。
图1 添加路由
- 在“添加路由”弹窗中,配置路由信息。
表3 添加路由 参数
说明
ip地址
填写数据源的IP地址或网段,例如“10.10.1.0”。
如果数据源IP地址分散,可添加多条路由规则。
子网掩码
填写“ip地址”对应的子网掩码。
子网掩码必须与IP地址的网段匹配,即:- 子网掩码的网络位(1的部分)必须覆盖IP地址的网络位。
- IP地址的主机位(0的部分)必须在子网掩码定义的主机范围内。
子网掩码的范围不宜过大,避免不必要的IP暴露或资源浪费。通常建议使用 /24(即 255.255.255.0),适用于大多数内部网络场景。
- 单击“确定”添加路由。
添加完成后,单击“查看路由”,可以查看已添加的路由信息;单击“添加路由”,可以继续增加路由信息;单击“删除路由”,选择路由后输入DELETE,单击“确定”即可删除路由。
验证网络连通性
在Logstash集群测试数据源和Logstash集群的网络是否连通。
- 登录云搜索服务管理控制台。
- 在左侧导航栏,选择“集群管理 > Logstash”。
- 在集群列表,单击目标集群名称,进入集群详情页。
- 选择“配置中心”页签,在配置中心页面,单击“连通性测试”。
- 在连通性测试弹窗中,输入数据源的IP地址和端口号,单击“测试”。
图2 连通性测试
当显示“可用”时,表示Logstash集群和数据源之前网络连通。
连通性测试最多可一次性测试10个IP地址。您可以单击“继续添加”,添加多个IP地址,然后单击“批量测试”,进行一次性测试多个IP地址的连通性。