采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS

方案概述

云上用户经常会遇到多云或者跨Region采集Kubernetes日志场景，典型场景有两种，分别是：

• 场景一：将互联网数据中心（Internet Data Center，以下简称IDC）或者第三方云厂商的日志采集到华为云LTS。
  图1 第三方云厂商日志采集
  
• 场景二：将华为云RegionA的日志采集到华为云RegionB的LTS。
  图2 跨Region日志采集
  

对于场景一和场景二，您需要先打通网络，再安装ICAgent，最后按照日志接入向导即可以将日志采集到LTS。

• ICAgent：ICAgent是华为云日志服务的日志采集器，通过在主机上安装ICAgent，您可以将日志采集到LTS。
  

  安装ICAgent前，请确保本地浏览器的时间、时区与主机的时间、时区一致。

• 网络互通：
  • 场景一：自建IDC或者第三方云厂商与华为云之间网络互通的典型方式是云专线DC，如果没有专线，您可以尝试VPN/公网IP方式。
  • 场景二：华为云不同Region之间网络互通典型的方式是云连接CC/云专线DC，您也可以使用VPN/公网IP方式。
• 跳板机
  • 安装在自建IDC/第三方云厂商/跨华为云Region的ICAgent无法直接访问华为云管理面上报日志的网段，需要配置跳板机进行数据转发；当您在进行POC测试，或者日志流量并不大的情况下，可以使用跳板机的方案。对于大流量的日志场景，如果您希望在生产环境中去掉跳板机，请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。
  • 典型的跳板机配置是2vCPUs | 4GB，每台跳板机可以支持约30MB/s的流量转发，您可以根据自身的日志流量配置合理数量的跳板机，多台跳板机前面配置ELB进行流量分发。

本文将详细介绍将阿里云主机日志采集到华为云云日志服务（LTS）的操作步骤，客户自建IDC和华为云上跨region采集日志的操作方式与采集阿里云主机日志的方式类似。

以下将阿里云-华北二北京局点的日志采集到华为云华东-上海一局点的LTS服务，云主机的操作系统为Linux环境。

资源规划

在华为云华东-上海一购买ELB和多台云主机作为跳板机

1. 登录云服务控制台，购买弹性云服务器 ECS。

   非华为云上的服务器安装ICAgent，需要先在华为云上购买一台弹性云服务器作为跳板机。

2. 购买弹性负载均衡 ELB，并添加TCP监听器和后端服务器组。
   1. 添加监听器。分别为端口30200、30201、8149、8923、8102添加监听器，具体请参见添加TCP监听器。
      图3 添加监听器
      
   2. 添加云服务器。给后端服务器组添加所有跳板机，具体请参见添加后端服务器。
      图4 添加云服务器
      

3. 配置跳板机安全组规则，并开通转发端口。
   1. 修改跳板机ECS使用的安全组规则。
      

      1. 在ECS详情页，单击安全组页签，进入安全组列表页。
      2. 单击具体的安全组名，单击“更改安全组规则”，进入安全组详情页。
      3. 在该安全组详情页，单击“入方向规则 > 添加规则 ”。将安全组的入方向端口8149、8102、8923、30200、30201、80开启，保证非华为云的VM到跳板机ECS的数据连通性。
      图5 修改安全组规则
      
   2. 在云日志服务控制台，选择“主机管理”，单击“安装ICAgent”，进入安装ICAgent详情页面。按下图配置，填入ECS私有IP，生成安装口令。
      图6 安装ICAgent
      
   3. 复制命令以root用户登录跳板机，执行SSH Tunnel转发命令，根据命令提示输入root用户密码即可。
   4. 执行netstat -lnp | grep ssh命令查看对应端口是否被侦听，如果返回结果如下图所示，说明TCP端口已开通。
      图7 查看端口
      
      

      • 在浏览器地址栏里输入“http://跳板机ECS的IP地址”。如果访问成功，说明安全组规则已经生效。
      • 如果跳板机ECS掉电重启，请重新执行安装ICAgent页面生成的安装命令。如果您在生产环境中使用，请将上述端口转发命令配置为开机启动任务。

配置日志接入

Kubernetes集群在一个节点上安装成功即可，不需要所有节点重复操作。

请提前获取AK/SK，请参考获取华为账号的AK/SK。

1. 配置跳板机。
   1. 在弹性云服务器管理控制台找到已创建的机器，获取私有IP。
      图8 获取私有IP
      
   2. 在云日志服务LTS（LTS）控制台，选择“主机管理”，单击“安装ICAgent”，进入安装ICAgent详情页面。按下图配置，填入ECS私有IP，生成安装口令并复制。
      图9 安装ICAgent
      
   3. 登录跳板机ECS，执行上一步的命令并根据提示输入节点密码，若无报错，表示安装成功。
      图10 执行生成的安装命令
      
   4. 如上图所示， 在文本框中输入跳板机的公网ip，关闭历史命里记录，复制命令并在跳板机ecs上执行，根据提示输入当前账号的AK、SK，当显示“ICAgent install success”时，表示安装成功。

2. 配置日志接入规则。具体操作请参考自建K8s应用日志接入LTS。

查看日志流

在云日志服务（LTS）的日志管理页面中，单击目标日志流名称进入详情页面，查看有日志即可证明阿里云Kubernetes日志已成功上报到LTS。