文档首页> 云日志服务 LTS> 最佳实践> 采集第三方云厂商、自建IDC、华为云其他region的K8S日志到LTS
更新时间:2024-04-01 GMT+08:00
分享

采集第三方云厂商、自建IDC、华为云其他region的K8S日志到LTS

背景信息

云上用户经常会遇到多云或者跨region采集k8s日志场景,典型场景如下:

  • 场景一:将自建IDC或者第三方云厂商的k8s日志采集到华为云LTS

  • 场景二:将华为云RegionA的k8s日志采集到华为云RegionB的LTS

方案介绍

对于场景一和场景二,您需要先打通网络,再安装ICAgent,最后按照日志接入向导即可以将日志采集到LTS:

ICAgent

ICAgent是华为云日志服务的自研日志采集器,通过在主机上安装ICAgent,您可以将日志采集到LTS。

网络互通
  • 场景一:自建IDC或者第三方云厂商与华为云之间网络互通的典型方式是云专线DC,如果没有专线,您可以尝试VPN/公网IP方式。
  • 场景二:华为云不同Region之间网络互通典型的方式是云连接CC/云专线DC,您也可以使用VPN/公网IP方式。
跳板机
  • 安装在自建IDC/第三方云厂商/跨华为云Region的ICAgent无法直接访问华为云管理面上报日志的网段,需要配置跳板机进行数据转发;当您在进行POC测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提工单给华为云网络,由网络的同事帮您设计网络直通的方案。
  • 典型的跳板机配置是2vCPUs | 4GB,每台跳板机可以支持约30MB/s的流量转发,您可以根据自身的日志流量配置合理数量的跳板机,多台跳板机前面配置ELB进行流量分发。

本文将详细介绍将阿里云主机日志采集到华为云LTS的操作步骤,客户自建IDC和华为云上跨region采集日志的操作方式与采集阿里云主机日志的方式类似。

以下将阿里云-华北二北京局点的日志采集到华为云-上海一局点的LTS服务,云主机的操作系统为linux环境。

前提条件

安装ICAgent前,请确保本地浏览器的时间、时区与主机的时间、时区一致。

操作步骤

在华为云北京四购买ELB和多台云主机作为跳板机

  1. 登录云服务器控制台,购买跳板机。

    非华为云上的服务器安装ICAgent,需要先在华为云上购买一台弹性云服务器作为跳板机。

    推荐CentOS 6.5 64bit及其以上版本的镜像, 最低规格为1vCPUs | 1GB,推荐规格为2vCPUs | 4GB。

  2. 购买ELB,并添加TCP监听器和后端服务器组。

    • 创建ELB时,选择与跳板机ECS相同的VPC。
    • 新建弹性公网IP作为跳板机连接的IP。
    • 根据业务量购买带宽,并进行适配 。
    1. 分别为TCP的端口30200、30201、8149、8923、8102添加监听器,具体请参见添加TCP监听器

    2. 为后端服务器组添加所有跳板机,具体请参见添加后端服务器

  3. 配置跳板机安全组规则及开通转发端口。

    1. 修改跳板机ECS使用的安全组规则。
      • 在ECS详情页,单击安全组页签,进入安全组列表页。
      • 单击具体的安全组名,单击“更改安全组规则”,进入安全组详情页。
      • 在该安全组详情页,单击“入方向规则 > 添加规则 ”。
      • 将安全组的入方向端口8149、8102、8923、30200、30201、80开启,保证非华为云的VM到跳板机ECS的数据连通性。

    2. 云日志管理控制台,依次单击“主机管理" > "安装ICAgent" > “安装系统”选择“Linux”> “主机类型”选择“区域外主机”,进入安装ICAgent页面。并填入ECS私有IP,生成安装口令。
    3. 复制命令以root用户登录跳板机,执行SSH Tunnel转发命令,根据命令提示输入root用户密码即可。
    4. 执行netstat -lnp | grep ssh命令查看对应端口是否被侦听,如果返回结果如下图所示,说明TCP端口已开通。

      • 在浏览器地址栏里输入“http://跳板机ECS的IP地址”。如果访问成功,说明安全组规则已经生效。
      • 如果跳板机ECS掉电重启,请重新执行如上命令。如果您在生产环境中使用,请将上述端口转发命令配置为开机启动任务

配置日志接入

k8s集群在一个节点上安装成功即可,不需要所有节点重复操作。

请提前获取AK/SK,请参考如何获取AK/SK

  1. 创配置跳板机。

    1. 在弹性云服务器管理控制台找到已创建的机器,获取私有IP。

    2. 在云日志服务LTS控制台,依次单击“主机管理 > 安装ICAgent”,进入安装ICAgent页面。安装系统选择Linux,再选择主机类型为“区域外主机”,并填入私有IP,生成安装口令并复制。
    3. 登录跳板机ECS,执行上一步的命令并根据提示输入节点密码,若无报错,表示安装成功。

    4. 如图所示, 在文本框中输入跳板机的公网ip,关闭历史命里记录,复制命令并在跳板机ecs上执行,根据提示输入当前账号的AK、SK,当显示“ICAgent install success”时,表示安装成功。

  2. 配置日志接入规则。

    1. 在云日志服务左侧导航栏中选择“日志接入”,在“自建软件”页签,单击“自建k8s-应用日志”。
    2. 填写自建集群的集群名称和集群ID以及日志存放的日志组日志流。
    3. 单击自动修复,自动创建默认主机组。
    4. 登录自建集群节点,按顺序执行拉取icagent安装包、解压、进入目录的命令。

      根据实际情况选择集群所在区域和网络连通方式,执行安装命令;如图所示即为安装成功。

    5. 选择自动生成的主机组。
    6. 配置数据源。
    7. 配置日志结构化(可选跳过)并提交。
    8. 配置索引配置(可选跳过)并提交。
    9. 完成配置。

查看日志流

在日志管理页面,单击日志流名称进入详情页面,查看日志详情。

分享:

    相关文档

    相关产品