采集第三方云厂商、自建IDC、华为云其他region云主机日志到LTS
背景信息
云上用户经常会遇到多云或者跨region采集日志场景,典型场景如下:
方案介绍
对于场景一和场景二,您需要先打通网络,再安装ICAgent,最后按照日志接入向导即可以将日志采集到LTS:
ICAgent
ICAgent是华为云日志服务的自研日志采集器,通过在主机上安装ICAgent,您可以将日志采集到LTS。
- 场景一:自建IDC或者第三方云厂商与华为云之间网络互通的典型方式是云专线DC,如果没有专线,您可以尝试VPN/公网IP方式。
- 场景二:华为云不同Region之间网络互通典型的方式是云连接CC/云专线DC,您也可以使用VPN/公网IP方式。
- 安装在自建IDC/第三方云厂商/跨华为云Region的ICAgent无法直接访问华为云管理面上报日志的网段,需要配置跳板机进行数据转发;当您在进行POC测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提工单给华为云网络,由网络的同事帮您设计网络直通的方案。
- 典型的跳板机配置是2vCPUs | 4GB,每台跳板机可以支持约30MB/s的流量转发,您可以根据自身的日志流量配置合理数量的跳板机,多台跳板机前面配置ELB进行流量分发。
本文将详细介绍将阿里云主机日志采集到华为云LTS的操作步骤,客户自建IDC和华为云上跨region采集日志的操作方式与采集阿里云主机日志的方式类似。
以下将阿里云-华北二北京局点的日志采集到华为云-上海一局点的LTS服务,云主机的操作系统为linux环境。
前提条件
安装ICAgent前,请确保本地浏览器的时间、时区与主机的时间、时区一致。
操作步骤
在华为云上海一购买ELB和多台云主机作为跳板机
- 登录云服务器控制台,购买跳板机。
非华为云上的服务器安装ICAgent,需要先在华为云上购买一台弹性云服务器作为跳板机。
推荐CentOS 6.5 64bit及其以上版本的镜像, 最低规格为1vCPUs | 1GB,推荐规格为2vCPUs | 4GB。
- 购买ELB,并添加TCP监听器和后端服务器组。
- 创建ELB时,选择与跳板机ECS相同的VPC。
- 新建弹性公网IP作为跳板机连接的IP。
- 根据业务量购买带宽,并进行适配 。
- 配置跳板机安全组规则及开通转发端口。
- 修改跳板机ECS使用的安全组规则。
- 在ECS详情页,单击安全组页签,进入安全组列表页。
- 单击具体的安全组名,单击“更改安全组规则”,进入安全组详情页。
- 在该安全组详情页,单击“入方向规则 > 添加规则 ”。
- 将安全组的入方向端口8149、8102、8923、30200、30201、80开启,保证非华为云的VM到跳板机ECS的数据连通性。
- 云日志管理控制台,依次单击“主机管理" > "安装ICAgent" > “安装系统”选择“Linux”> “主机类型”选择“区域外主机”,进入安装ICAgent页面。并填入ECS私有IP,生成安装口令。
- 复制命令以root用户登录跳板机,执行SSH Tunnel转发命令,根据命令提示输入root用户密码即可。
- 执行netstat -lnp | grep ssh命令查看对应端口是否被侦听,如果返回结果如下图所示,说明TCP端口已开通。
- 在浏览器地址栏里输入“http://跳板机ECS的IP地址”。如果访问成功,说明安全组规则已经生效。
- 如果跳板机ECS掉电重启,请重新执行如上命令。如果您在生产环境中使用,请将上述端口转发命令配置为开机启动任务。
- 修改跳板机ECS使用的安全组规则。
在阿里云主机上安装ICAgent
- 获取AK/SK,请参考如何获取AK/SK。
- 如图所示,输入跳板机连接IP(注意需要填入ECS弹性公网IP),生成ICAgent安装命令。
- 请确保替换正确的AK/SK,否则将无法安装ICAgent。
- 跳板机连接IP:使用EIP方式连接,为跳板机弹性公网IP,使用云专线VPC对等连接方式,为跳板机VPC内网IP。
- 复制命令root用户登录阿里云ECS,执行ICAgent安装命令进行安装,当显示“ICAgent install success”时,表示安装成功。
如果是华为云跨region采集日志,如将华为云上海局点采集日志到华为云广州局点,在广州局点购买ELB和ECS跳板机,然后将icagent的安装命令在上海局点的ECS机器上执行。其他操作步骤一致。
- 安装成功后,在云日志服务左侧导航栏中选择“主机管理 > 主机”,查看该服务器中ICAgent状态为“运行”。
接入日志
- 创建主机组。
- 在云日志服务左侧导航栏中选择“主机管理 > 新建主机组”。
- 填写“主机组名称”并勾选主机,即可完成主机组的创建。
- 配置日志接入规则。详细操作请参考ECS接入。
查看日志流
在日志管理页面,单击日志流名称进入详情页面,查看日志详情。