安装ICAgent(区域外主机)
区域外主机指的是华为云非当前Region或非华为云主机,例如自建IDC(Internet Data Center,互联网数据中心)、第三方云厂商或华为云跨Region主机等。如果您想使用云日志服务对区域外主机进行日志采集,那么您需要先保证区域外主机与华为云当前区域LTS网络互通,再在区域外主机上安装ICAgent。ICAgent是云日志服务进行日志采集的工具,运行在待采集日志的主机中。
按照区域外主机上报日志到LTS的网络通路来划分,可分为公网和专线:
- 公网:区域外主机与公网连通,那么区域外主机可以直接通过公网与华为云当前区域LTS进行通信,将日志上报的LTS。但是由于公网的安全性可能较低,因此在实际生产环境中通常选择专线接入方式。
- 专线:区域外主机与华为云当前区域LTS通过跳板机或VPCEP的方式进行连通,安全性和稳定性都更高。在专线连通场景下,默认区域外主机与当前区域LTS网络不通,安装在区域外主机上的ICAgent无法直接访问华为云管理面上报日志的网段。因此需要配置网络打通方案,使用跳板机或VPCEP的方式去连通LTS后端将数据转发到LTS。
- 跳板机:跳板机作为数据转发器,将区域外主机ICAgent采集到的数据转发给LTS。当您在进行测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量日志场景推荐您使用VPCEP。
- VPCEP:即VPC终端节点,能够提供便捷、安全的通道用于与华为云当前区域LTS进行连接,使VPC中的资源无需弹性公网IP就能够访问终端节点服务。这种方式能够减少数据在公网上传输的风险,提高数据传输的安全性和效率。
前提条件
安装ICAgent前,请确保本地浏览器的时间、时区与主机的时间、时区一致。如果不一致,可能会导致日志上报出错。
使用限制
- Linux环境:ICAgent安装支持的Linux操作系统。
- Windows环境:仅支持在如下64位系统的Windows环境中安装ICAgent。
Windows Server 2016 R2 Datacenter Windows Server 2016 R2 Standard Windows Server 2016 Datacenter English Windows Server 2016 R2 Standard English Windows Server 2012 R2 Datacenter Windows Server 2012 R2 Standard Windows Server 2012 Datacenter English Windows Server 2012 R2 Standard English Windows Server 2008 R2 Enterprise Windows Server 2008 R2 Standard Windows Server 2008 Enterprise English Windows Server 2008 R2 Standard English
Windows环境不支持在云日志服务主机管理界面对ICAgent进行升级和卸载操作,只支持日志采集功能。如果需要使用新版本,请先卸载旧版本ICAgent,再安装新版本ICAgent即可。
安装方式说明
ICAgent有两种安装方式,请按照您的场景进行选择。
方式 |
适用场景 |
---|---|
首次安装 |
该服务器上未安装过ICAgent。 |
继承安装(Linux环境支持) |
您有多个服务器需要安装ICAgent,其中一个服务器已经通过首次安装方式装好了ICAgent,对于没有安装ICAgent的其他多个服务器,您可以采用该安装方式。 |
首次安装(Linux环境)
- 在云日志服务管理控制台,左侧导航栏选择“主机管理 > 主机”,进入“主机”页面。
- “主机类型”选择“区域外主机”。
- “安装系统”选择“Linux”。
- 设置网络连通性方式。区域外主机将日志上报到当前区域LTS的网络通路,建议您优先选择专线,更稳定可靠。
- 选择“连通LTS后端方式”,在专线连通场景下,默认区域外主机与当前区域LTS网络不通,安装在区域外主机上的ICAgent无法直接访问华为云管理面上报日志的网段。因此需要配置网络打通方案,使用跳板机或VPCEP的方式去连通LTS。
- 选择“连通LTS后端方式”为“VPCEP”时:
配置VPCEP域名。请您在华为云网络工程师的协助下,在区域外云上配置VPCEP的DNS域名解析规则,将VPCEP的域名解析到指定IP。配置完成后,在“安装ICAgent”页面根据界面提示复制命令:
ping {VPCEP域名}
选择一台待采集日志的主机,执行该命令。如果能ping通,表示网络配置连通。跳转到6开始执行。
- 选择“连通LTS后端方式”为“跳板机”时:
- 创建Linux操作系统的ECS弹性云服务器作为跳板机。
登录弹性云服务器控制台,创建一个Linux操作系统的ECS。创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有符合条件ECS,可直接使用作为跳板机,不需要再次创建。
- 推荐CentOS 6.5 64bit及其以上版本的镜像, 最低规格为1vCPUs | 1GB,推荐规格为2vCPUs | 4GB。
- 如果跳板机使用公网与区域外主机互通,那么需要开通EIP;如果跳板机使用云专线VPC对等连接方式与区域外主机互通,那么不需要开通EIP。
- 跳板机的区域要与LTS当前Region一致。
- 添加跳板机ECS使用的安全组规则,开放入方向对应端口,保证区域外主机到跳板机数据连通。
- 返回弹性云服务器列表,找到5.a中作为跳板机的弹性云服务器,可以获取私有IP及弹性公网IP(如跳板机开通EIP,此处会显示弹性公网IP)。
图1 获取私有IP
- 返回云日志服务控制台,在“安装ICAgent”页面中输入获取到的跳板机私有IP,生成跳板机转发命令。
跳板机私有IP是指VPC内网IP。
- 在“安装ICAgent”页面单击“复制命令”,复制SSH Tunnel转发命令。
ssh -f -N -L {跳板机私有IP}:8149:{LTS上报IP}:8149 -L {跳板机私有IP}:8102:{LTS上报IP}:8102 -L {跳板机私有IP}:8923:{LTS上报IP}:8923 -L {跳板机私有IP}:30200:{LTS上报IP}:30200 -L {跳板机私有IP}:30201:{LTS上报IP}:30201 -L {跳板机私有IP}:80:icagent-{region}.{obs_domain}:80 {跳板机私有IP}
- 以root用户名密码登录跳板机,执行复制的SSH Tunnel转发命令。
- 执行netstat -lnp | grep ssh命令查看对应端口是否被侦听,如果返回结果如图2所示,说明TCP端口已开通。
如果跳板机ECS掉电重启,请重新执行netstat -lnp | grep ssh命令。
- 在“安装ICAgent”页面,填写DC和跳板机连接IP。
- DC:自定义主机节点所属数据中心名称,便于分类查看主机。由数字、大小写字母、中划线、下划线组成,并且最多不超过64个字符。
跳板机连接IP:如果跳板机使用EIP方式连通区域外主机,此处填写跳板机弹性IP;如果跳板机与区域外主机使用云专线VPC对等连接方式,此处填写跳板机VPC内网IP,即私有IP。弹性IP和私有IP的查看可参考5.c。
- DC:自定义主机节点所属数据中心名称,便于分类查看主机。由数字、大小写字母、中划线、下划线组成,并且最多不超过64个字符。
- 创建Linux操作系统的ECS弹性云服务器作为跳板机。
- 选择“连通LTS后端方式”为“VPCEP”时:
- 获取AK/SK。详细请参考如何获取访问密钥AK/SK。在“安装ICAgent”页面,复制ICAgent安装命令时需要替换AK/SK。
- 使用PuTTY等远程登录工具,以root用户登录待安装ICAgent的区域外主机,执行ICAgent安装命令进行安装。
当显示“ICAgent install success”时,表示安装成功,ICAgent已安装在了/opt/oss/servicemgr/目录。安装成功后,在云日志服务左侧导航栏中选择“主机管理 > 主机”,查看该服务器中ICAgent的状态。
如果安装失败,请卸载ICAgent后重新安装,如果还未安装成功,请联系技术支持。
首次安装(Windows环境)
- 在云日志服务管理控制台,左侧导航栏选择“主机管理 > 主机”,进入“主机”页面。
- “主机类型”选择“区域外主机”。
- “安装系统”选择“Windows”。
- 设置“网络连通性方式”。区域外主机将日志上报到LTS的网络通路(公网或专线),建议您优先选择专线,更稳定可靠。
- 选择“连通LTS后端方式”,在专线连通场景下,默认区域外主机与当前区域LTS网络不通,安装在区域外主机上的ICAgent无法直接访问华为云管理面上报日志的网段。因此需要配置网络打通方案,使用跳板机或VPCEP的方式去连通LTS。
- 选择“连通LTS后端方式”为“VPCEP”时:
配置VPCEP域名。请您在华为云网络工程师的协助下,在区域外云上配置VPCEP的DNS域名解析规则,将VPCEP的域名解析到指定IP。配置完成后,在“安装ICAgent”页面根据界面提示复制命令:
ping {VPCEP域名}
选择一台待采集日志的主机,执行该命令。如果能ping通,表示网络配置连通。跳转到7开始执行。
- 选择“连通LTS后端方式”为“跳板机”时:
- 创建Linux操作系统的ECS弹性云服务器作为跳板机。
登录弹性云服务器控制台,创建一个Linux操作系统的ECS。创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有符合条件ECS,可直接使用作为跳板机,不需要再次创建。
- 推荐CentOS 6.5 64bit及其以上版本的镜像, 最低规格为1vCPUs | 1GB,推荐规格为2vCPUs | 4GB。
- 如果跳板机使用公网与区域外主机互通,那么需要开通EIP;如果跳板机使用云专线VPC对等连接方式与区域外主机互通,那么不需要开通EIP。
- 跳板机的区域要与LTS当前Region一致。
- 添加跳板机ECS使用的安全组规则,开放入方向对应端口,保证区域外主机到跳板机数据连通。
- 返回弹性云服务器列表,找到5.a中作为跳板机的弹性云服务器,可以查看到私有IP及弹性公网IP(如跳板机开通EIP,此处会显示弹性公网IP)。
图3 复制私有IP
- 返回云日志服务控制台,在“安装ICAgent”页面中输入获取到的跳板机私有IP,生成跳板机转发命令。
跳板机私有IP是指VPC内网IP。
- 在“安装ICAgent”页面单击“复制命令”,复制SSH Tunnel转发命令。
ssh -f -N -L {跳板机私有IP}:8149:{LTS上报IP}:8149 -L {跳板机私有IP}:8102:{LTS上报IP}:8102 -L {跳板机私有IP}:8923:{LTS上报IP}:8923 -L {跳板机私有IP}:30200:{LTS上报IP}:30200 -L {跳板机私有IP}:30201:{LTS上报IP}:30201 -L {跳板机私有IP}:80:icagent-{region}.{obs_domain}:80 {跳板机私有IP}
- 以root用户登录跳板机,执行复制的SSH Tunnel转发命令。
- 执行netstat -lnp | grep ssh命令查看对应端口是否被侦听,如果返回结果如图4所示,说明TCP端口已开通。
如果跳板机ECS掉电重启,请重新执行如上命令。
- 创建Linux操作系统的ECS弹性云服务器作为跳板机。
- 选择“连通LTS后端方式”为“VPCEP”时:
- 通过“安装ICAgent”页面提示链接,下载ICAgent安装包。
- 将ICAgent安装包存放到Windows主机目录(如:C:\ICAgent)并解压。
- 获取AK/SK并保存好,复制ICAgent安装命令时需要替换AK/SK。详细请参考如何获取访问密钥AK/SK。
如果选择“连通LTS后端方式”为“跳板机”时,那么此处还要填写跳板机连接IP。
跳板机连接IP:如果跳板机使用EIP方式连通区域外主机,此处填写跳板机弹性IP;如果跳板机与区域外主机使用云专线VPC对等连接方式,此处填写跳板机VPC内网IP,即私有IP。弹性IP和私有IP的查看可参考5.c。
- 在“安装ICAgent”页面,单击“复制命令”,复制ICAgent安装命令。
- 登录Windows主机,打开cmd窗口并进入ICAgent安装包的解压目录,执行ICAgent安装命令进行安装。
当显示“Service icagent installed successfully”时,表示安装成功。安装成功后,在云日志服务控制台左侧导航栏中选择“主机管理 > 主机”,查看ICAgent状态。
如果安装失败,请卸载ICAgent后重新安装,如果还未安装成功,请联系技术支持。
创建多台跳板机通过ELB进行负载均衡
单跳板机可能发生单点故障带来运维的不稳定性,此时可以创建多个跳板机并通过ELB负载均衡将流量分摊到不同的跳板机上,提高接入的可靠性。
- 创建Linux操作系统的ECS弹性云服务器作为跳板机。
登录弹性云服务器控制台,创建一个Linux操作系统的ECS。创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有符合条件ECS,可直接使用作为跳板机,不需要再次创建。
- 推荐CentOS 6.5 64bit及其以上版本的镜像, 最低规格为1vCPUs | 1GB,推荐规格为2vCPUs | 4GB。
- 如果跳板机使用公网与区域外主机互通,那么需要开通EIP;如果跳板机使用云专线VPC对等连接方式与区域外主机互通,那么不需要开通EIP。
- 跳板机的区域要与LTS当前Region一致。
- 添加跳板机ECS使用的安全组规则,开放入方向对应端口,保证区域外主机到跳板机数据连通。
- 返回弹性云服务器列表,找到1中作为跳板机的弹性云服务器,可以查看到私有IP及弹性IP(如跳板机开通EIP,此处会显示弹性IP)。
图5 复制私有IP
- 登录云日志服务控制台,在左侧导航栏选择“主机管理 ”,单击“安装ICAgent”,在“安装ICAgent”页面中输入跳板机私有IP,生成跳板机转发命令。
跳板机私有IP是指VPC内网IP。
- 在“安装ICAgent”页面单击“复制命令”,复制SSH Tunnel转发命令。
ssh -f -N -L {跳板机私有IP}:8149:{LTS上报IP}:8149 -L {跳板机私有IP}:8102:{LTS上报IP}:8102 -L {跳板机私有IP}:8923:{LTS上报IP}:8923 -L {跳板机私有IP}:30200:{LTS上报IP}:30200 -L {跳板机私有IP}:30201:{LTS上报IP}:30201 -L {跳板机私有IP}:80:icagent-{region}.{obs_domain}:80 {跳板机私有IP}
- 以root用户登录跳板机,执行复制的SSH Tunnel转发命令。
- 重复以上步骤创建多个跳板机,并且将多个跳板机放入同一个VPC中。即在创建弹性云服务器,进行网络配置时,选择同一个虚拟私有云。
- 登录弹性负载均衡控制台,创建弹性负载均衡ELB。具体请参见创建弹性负载均衡,在创建时需注意以下几点。
- 创建ELB,在网络配置时,选择与跳板机ECS相同的VPC。
- 新建弹性公网IP,ELB的弹性公网IP将作为跳板机连接IP。
- 带宽根据业务量申请,并进行适配。
- 分别为TCP的端口30200、30201、8149、8923、8102、80添加监听器。具体请参见添加TCP监听器。
- 创建一个后端服务器组,并将所有的跳板机放置在同一个后端服务器组,具体请参见添加后端云服务器。
- 返回云日志服务控制台,在“安装ICAgent”页面,将ELB的弹性公网IP填写到“跳板机连接IP”中,复制安装命令,在对应区域外主机上执行即可。
继承安装(Linux环境)
您有多个服务器需要安装ICAgent,其中一个服务器已经通过首次安装方式装好了ICAgent,且该服务器“/opt/ICAgent/”路径下存在ICAgent的安装包ICProbeAgent.tar.gz,对于没有安装ICAgent的服务器,可以通过该方式对服务器进行一键式继承安装。
- 在已安装ICAgent的服务器上执行如下命令,其中x.x.x.x表示待安装ICAgent服务器的IP地址。
bash /opt/oss/servicemgr/ICAgent/bin/remoteInstall/remote_install.sh -ip x.x.x.x
- 根据提示输入待安装ICAgent的服务器root用户密码。
- 如果已安装ICAgent的服务器安装过expect工具,执行上述命令后,即可完成安装。如果已安装ICAgent的服务器未安装expect工具,请根据提示输入密码,进行安装。
- 请确保已安装ICAgent的服务器可以使用root用户执行SSH、SCP命令,来与待安装ICAgent的服务器进行远端通信。
- 如果安装失败,请卸载ICAgent后重新安装,如果还未安装成功,请联系技术支持。
- 当显示“ICAgent install success”时,表示安装成功,ICAgent已安装在了“/opt/oss/servicemgr/”目录。安装成功后,在云日志服务左侧导航栏中选择主机管理 > 主机”,查看该服务器ICAgent的状态。
继承批量安装(Linux环境)
您有多个服务器需要安装ICAgent,其中一个服务器已经通过首次安装方式装好了ICAgent,且该服务器“/opt/ICAgent/”路径下存在ICAgent的安装包ICProbeAgent.tar.gz,对于没有安装ICAgent的服务器,可以通过该方式对服务器进行一键式继承批量安装。
- 批量安装的服务器需同属一个VPC下,并在同一个网段中。
- 批量安装功能依赖python3.*版本,如果安装时提示找不到python请在服务器上安装python版本后重试。
前提条件
已收集需要安装Agent的所有服务器的IP地址、root密码,按照iplist.cfg格式整理好,并上传到已安装过ICAgent机器的“/opt/ICAgent/”目录下。iplist.cfg格式示例如下所示,IP地址与root密码之间用空格隔开:
192.168.0.109 密码(请根据实际填写)
192.168.0.39 密码(请根据实际填写)
- iplist.cfg中包含您的敏感信息,建议您使用完之后进行清理。
- 如果所有服务器的密码一致,iplist.cfg中只需列出IP,无需填写密码,在执行时输入此密码即可;如果某个IP密码与其他不一致,则需在此IP后填写其密码。
操作步骤
- 在已安装ICAgent的服务器上执行如下命令。
bash /opt/oss/servicemgr/ICAgent/bin/remoteInstall/remote_install.sh -batchModeConfig /opt/ICAgent/iplist.cfg
根据脚本提示输入待安装机器的root用户默认密码,如果所有IP的密码在iplist.cfg中已有配置,则直接输入回车键跳过即可,否则请输入默认密码。
batch install begin Please input default passwd: send cmd to 192.168.0.109 send cmd to 192.168.0.39 2 tasks running, please wait... 2 tasks running, please wait... 2 tasks running, please wait... End of install agent: 192.168.0.39 End of install agent: 192.168.0.109 All hosts install icagent finish.
请耐心等待,当提示All hosts install icagent finish.时,则表示配置文件中的所有主机安装操作已完成。
- 安装完成后,在云日志服务左侧导航栏中选择“主机管理 > 主机”,查看主机的安装状态,详细请参考查看ICAgent状态。