更新时间:2024-01-04 GMT+08:00

CCE容器网络扩展指标

插件简介

CCE容器网络扩展指标插件(dolphin)是一款容器网络流量监控管理插件,当前版本可支持CCE Turbo集群非主机网络容器的流量统计,以及节点内容器联通性健康检查。

当前支持通过PodSelector来对监控后端作选择,支持多监控任务、可选监控指标,且支持用户获取Pod的label标签信息。监控信息已适配Prometheus格式,可以通过调用Prometheus接口查看监控数据。

使用约束

  • 仅支持在v1.19及以上版本的CCE Turbo集群中安装此插件,插件实例仅支持部署在X86架构的EulerOS的节点上。
  • 支持节点使用Containerd或Docker容器引擎。其中Containerd节点可实时跟踪Pod更新,Docker节点以轮询方式查询,非实时更新。
  • 仅支持统计CCE Turbo集群安全容器(容器运行时为kata)以及普通容器(容器运行时为runc)的流量。
  • 安装插件后默认将不进行流量监控,用户需通过创建MonitorPolicy来配置监控任务进行流量监控。
  • 不支持HostNetwork类型Pod监控。
  • 安装时请确保节点有足够的资源安装本插件。
  • 监控标签及用户标签的来源必须为新创建Pod时就具有的。
  • 用户指定的标签最多5个标签,且不可以指定系统使用的label用作用户指定label。系统使用lable包括:pod、task、ipfamily、srcip、dstip、srcport、dstport、protocol。

安装插件

  1. 登录CCE控制台,单击CCE Turbo集群名称进入集群,单击左侧导航栏的“插件中心”,在右侧找到CCE容器网络扩展指标插件,单击“安装”
  2. 在安装插件页面,查看插件配置。

    当前该插件无可配置参数。

  3. 单击“安装”。

    待插件安装完成后,选择对应的集群,然后单击左侧导航栏的“插件中心”,可在“已安装插件”页签中查看相应的插件。

组件说明

表1 dolphin组件

容器组件

说明

资源类型

dolphin

dolphin负责CCE Turbo集群的容器网络流量监控。

DaemonSet

支持的监控项

当前用户可通过创建MonitorPolicy的方式下发监控任务,当前用户可以通过API或登录工作节点kubectl apply的方式创建MonitorPolicy。一个MonitorPolicy代表着一个监控任务,提供selector、podLabel等可选参数。当前支持的监控指标如下:

表2 当前支持的监控指标

监控指标

监控项名称

监控粒度

支持的运行时

支持的集群版本

支持的插件版本

支持的操作系统

IPv4发送公网报文数

dolphin_ip4_send_pkt_internet

pod

runc/kata

v1.19及以上

1.1.2

EulerOS 2.9

EulerOS 2.10

IPv4发送公网字节数

dolphin_ip4_send_byte_internet

pod

runc/kata

v1.19及以上

1.1.2

EulerOS 2.9

EulerOS 2.10

IPv4接收报文数

dolphin_ip4_rcv_pkt

pod

runc/kata

v1.19及以上

1.1.2

EulerOS 2.9

EulerOS 2.10

IPv4接收字节数

dolphin_ip4_rcv_byte

pod

runc/kata

v1.19及以上

1.1.2

EulerOS 2.9

EulerOS 2.10

IPv4发送报文数

dolphin_ip4_send_pkt

pod

runc/kata

v1.19及以上

1.1.2

EulerOS 2.9

EulerOS 2.10

IPv4发送字节数

dolphin_ip4_send_byte

pod

runc/kata

v1.19及以上

1.1.2

EulerOS 2.9

EulerOS 2.10

最近一次的健康检查健康状态

dolphin_health_check_status

pod

runc/kata

v1.19及以上

1.2.2

EulerOS 2.9

EulerOS 2.10

健康检查成功累计次数

dolphin_health_check_successful_counter

pod

runc/kata

v1.19及以上

1.2.2

EulerOS 2.9

EulerOS 2.10

健康检查失败累计次数

dolphin_health_check_failed_counter

pod

runc/kata

v1.19及以上

1.2.2

EulerOS 2.9

EulerOS 2.10

下发监控任务

MonitorPolicy创建的模板如下:

apiVersion: crd.dolphin.io/v1
kind: MonitorPolicy
metadata:
  name: example-task            #监控任务名
  namespace: kube-system        #必填,namespace必须为kube-system
spec:
  selector:                     #选填,配置dolphin插件监控的后端,形如labelSelector格式,默认将监控本节点所有容器
    matchLabels:
      app: nginx
    matchExpressions:
      - key: app
        operator: In
        values:
          - nginx
  podLabel: [app]               #选填,用户标签
  ip4Tx:                        #选填,ipv4发送报文数和发送字节数这两个指标的开关,默认不开
    enable: true
  ip4Rx:                        #选填,ipv4接收报文数和接收字节数这两个指标的开关,默认不开
    enable: true
  ip4TxInternet:                #选填,ipv4发送公网报文数和发送公网字节数这两个指标的开关,默认不开
    enable: true
  healthCheck:                  #选填,本地节点 Pod 健康检查任务中最近一次健康检查是否健康、健康检查总健康&不健康次数这三个指标开关,默认不开
    enable: true                # true false
    failureThreshold: 3         #选填,健康检查不健康判定失败次数,默认1次健康检查失败即判定不健康
    periodSeconds: 5            #选填,健康检查任务检查间隔时间,单位秒,默认60
    command: ""                 #选填,健康检查任务检查命令,支持:ping、arping、curl,默认 ping
    ipFamilies: [""]            #选填,健康检查IP地址族,支持:ipv4,默认ipv4
    port: 80                    #选填,使用curl时必选,端口号
    path: ""                    #选填,使用curl时必选,http api 路径

用户标签PodLabel:可输入多个Pod的label标签,以逗号分隔,如[app, version]。

标签需符合以下规则,对应正则表达式为(^[a-zA-Z_]$)|(^([a-zA-Z][a-zA-Z0-9_]|_[a-zA-Z0-9])([a-zA-Z0-9_]){0,254}$):

  • 支持输入最多5个标签,单个标签长度最长256个字符。
  • 不能以数字和双下划线__开头。
  • 单个标签格式需符合A-Za-z_0-9。
用户可以按照上述格式对监控任务进行创建、修改、及删除,当前仅支持最多10个监控任务的创建,且多个监控任务匹配到同一个监控后端时,每一个监控后端将会产生监控任务数量的监控指标。
  • 修改或删除监控任务,都将导致丢失原有监控任务所采集的监控数据,请谨慎操作。
  • 用户卸载插件后,用户之前配置的监控任务MonitorPolicy将随着插件卸载一并销毁。

场景化示例如下:

  1. 以下示例将监控节点上满足app=nginx的labelselector的所有Pod,生成三个健康检查指标,默认使用ping方式检测本地Pod,若监控的容器携带test及app这两个标签,将在监控指标上携带对应label的key-value信息,否则对应label的value为“not found”。
    apiVersion: crd.dolphin.io/v1
    kind: MonitorPolicy
    metadata:
      name: example-task  
      namespace: kube-system        
    spec:
      selector:
        matchLabels:
          app: nginx
      podLabel: [test, app] 
      healthCheck: 
        enable: true
        failureThreshold: 3
        periodSeconds: 5
  2. 以下示例将监控节点上满足app=nginx的labelselector的所有Pod,生成三个健康检查指标,自定义curl方式(此处curl只考虑网络连通性,不论程序返回的http code是什么,只要网络能连通就认为Pod是健康的)。若监控的容器携带test及app这两个标签,将在监控指标上携带对应label的key-value信息,否则对应label的value为“not found”。
    apiVersion: crd.dolphin.io/v1
    kind: MonitorPolicy
    metadata:
      name: example-task
      namespace: kube-system
    spec:
      selector:
        matchLabels:
          app: nginx
      podLabel: [test, app]
      healthCheck: 
        enable: true
        failureThreshold: 3
        periodSeconds: 5 
        command: "curl"
        port: 80
        path: "healthz"
  3. 以下示例将监控节点上所有Pod,生成IPv4发送报文数和发送字节数这两个指标,若监控的容器携带app这个标签,将在监控指标上携带对应label的key-value信息,否则对应label的value为“not found”。
    apiVersion: crd.dolphin.io/v1
    kind: MonitorPolicy
    metadata:
      name: example-task  
      namespace: kube-system        
    spec:
      podLabel: [app]
      ip4Tx:
        enable: true
  4. 以下示例将监控节点上满足app=nginx的labelselector的所有Pod,生成IPv4收发报文数、IPv4收发字节数、IPv4发送公网报文数和字节数等指标,若监控的容器携带test及app这两个标签,将在监控指标上携带对应label的key-value信息,否则对应label的value为“not found”。
    apiVersion: crd.dolphin.io/v1
    kind: MonitorPolicy
    metadata:
      name: example-task
      namespace: kube-system
    spec:
      selector:
        matchLabels:
          app: nginx
      podLabel: [test, app]
      ip4Tx:
        enable: true
      ip4Rx:
        enable: true
      ip4TxInternet:      
        enable: true

查看流量统计

dolphin插件的监控信息以Prometheus exporter格式输出,有以下方式获取dolphin插件的监控信息:

  • 直接访问dolphin插件提供的服务端口10001,形如http://{POD_IP}:10001/metrics

    注意,如果在节点上访问dolphin服务端口,需要放通节点和Pod的安全组限制。

获取的监控信息示例如下:

  • 示例1(IPv4发送公网报文数):
    dolphin_ip4_send_pkt_internet{app="nginx",pod="default/nginx-66c9c65dbf-zjg24",task="kube-system/example-task "} 241

    如上示例中,Pod所在命名空间为default,Pod名称为nginx-66c9c65dbf-zjg24,用户指定label为app,其值对应为nginx,该监控指标由名称为example-task的监控任务创建,该Pod的发送公网报文数为241。

  • 示例2(IPv4发送公网字节数):
    dolphin_ip4_send_byte_internet{app="nginx",pod="default/nginx-66c9c65dbf-zjg24",task="kube-system/example-task" } 23618

    如上示例中,Pod所在命名空间为default,Pod名称为nginx-66c9c65dbf-zjg24,用户指定label为app,其值对应为nginx,该监控指标由名称为example-task的监控任务创建,该Pod的发送公网字节数为23618。

  • 示例3(IPv4发送报文数):
    dolphin_ip4_send_pkt{app="nginx",pod="default/nginx-66c9c65dbf-zjg24",task="kube-system/example-task "} 379

    如上示例中,Pod所在命名空间为default,Pod名称为nginx-66c9c65dbf-zjg24,用户指定label为app,其值对应为nginx,该监控指标由名称为example-task的监控任务创建,该Pod的发送报文数为379。

  • 示例4(IPv4发送字节数):
    dolphin_ip4_send_byte{app="nginx",pod="default/nginx-66c9c65dbf-zjg24",task="kube-system/example-task "} 33129

    如上示例中,Pod所在命名空间为default,Pod名称为nginx-66c9c65dbf-zjg24,用户指定label为app,其值对应为nginx,该监控指标由名称为example-task的监控任务创建,该Pod的发送字节数为33129。

  • 示例5(IPv4接收报文数):
    dolphin_ip4_rcv_pkt{app="nginx",pod="default/nginx-66c9c65dbf-zjg24",task="kube-system/example-task "} 464

    如上示例中,Pod所在命名空间为default,Pod名称为nginx-66c9c65dbf-zjg24,用户指定label为app,其值对应为nginx,该监控指标由名称为example-task的监控任务创建,该Pod的接收报文数为464。

  • 示例6(IPv4接收字节数):
    dolphin_ip4_rcv_byte{app="nginx",pod="default/nginx-66c9c65dbf-zjg24",task="kube-system/example-task "} 34654

    如上示例中,Pod所在命名空间为default,Pod名称为nginx-66c9c65dbf-zjg24,用户指定label为app,其值对应为nginx,该监控指标由名称为example-task的监控任务创建,该Pod的接收字节数为34654。

  • 示例7(健康检查状态):
    dolphin_health_check_status{app="nginx",pod="default/nginx-b74766f5f-7582p",task="kube-system/example-task"} 0

    如上示例中,Pod所在命名空间为kube-system,Pod名称为default/nginx-deployment-b74766f5f-7582p,用户指定label为app,其值对应为nginx,该监控指标由名称为example-task的监控任务创建,该Pod的网络健康状态为0(健康),不健康值为 1。

  • 示例8(健康检查成功次数):
    dolphin_health_check_successful_counter{app="nginx",pod="default/nginx-b74766f5f-7582p",task="kube-system/example-task"} 5

    如上示例中,Pod所在命名空间为kube-system,Pod名称为default/nginx-deployment-b74766f5f-7582p,用户指定label为app,其值对应为nginx,该监控指标由名称为example-task的监控任务创建,该Pod的网络健康检查成功次数为5。

  • 示例9(健康检查失败次数):
    dolphin_health_check_failed_counter{app="nginx",pod="default/nginx-b74766f5f-7582p",task="kube-system/example-task"} 0

    如上示例中,Pod所在命名空间为kube-system,Pod名称为default/nginx-deployment-b74766f5f-7582p,用户指定label为app,其值对应为nginx,该监控指标由名称为example-task的监控任务创建,该Pod的网络健康失败次数为0。

若容器无用户指定的标签,返回体中标签值为not found。形如:

dolphin_ip4_send_byte_internet{test="not found", pod="default/nginx-66c9c65dbf-zjg24",task="default" } 23618