区块链服务 BCS区块链服务 BCS

计算
弹性云服务器 ECS
云耀云服务器 HECS
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机 CPH
VR云渲游平台 CVR
特惠算力专区
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
内容分发网络 CDN
存储容灾服务 SDRS
弹性文件服务 SFS
云服务器备份 CSBS
云硬盘备份 VBS
数据快递服务 DES
专属企业存储服务
智能边缘
智能边缘云 IEC
EI 企业智能
EI安视服务
AI开发平台ModelArts
数据湖治理中心 DGC
数据仓库服务 GaussDB(DWS)
企业级AI应用开发专业套件 ModelArts Pro
数据湖探索 DLI
华为HiLens
云搜索服务 CSS
数据接入服务 DIS
表格存储服务 CloudTable
数据湖工厂 DLF
图引擎服务 GES
推荐系统 RES
文字识别 OCR
内容审核 Moderation
图像识别 Image
图像搜索 ImageSearch
人脸识别服务 FRS
对话机器人服务 CBS
视频分析服务 VAS
数据可视化 DLV
视频接入服务 VIS
自然语言处理 NLP
语音交互服务 SIS
知识图谱 KG
医疗智能体 EIHealth
可信智能计算服务 TICS
园区智能体 CampusGo
实时流计算服务 CS
人证核身服务 IVS
IoT物联网
设备接入 IoTDA
IoT物联网
全球SIM联接 GSL
设备发放 IoTDP
IoT开发者服务
IoT边缘 IoTEdge
IoT数据分析
路网数字化服务 DRIS
开发与运维
项目管理 ProjectMan
代码托管 CodeHub
流水线 CloudPipeline
代码检查 CodeCheck
编译构建 CloudBuild
部署 CloudDeploy
云测 CloudTest
发布 CloudRelease
移动应用测试 MobileAPPTest
CloudIDE
Classroom
软件开发平台 DevCloud
开源镜像站 Mirrors
视频
媒体处理 MPC
视频点播 VOD
视频直播 Live
实时音视频 SparkRTC
管理与部署
统一身份认证服务 IAM
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云审计服务 CTS
云日志服务 LTS
标签管理服务 TMS
资源管理服务 RMS
应用身份管理服务 OneAccess
专属云
专属计算集群 DCC
专属分布式存储服务 DSS
域名与网站
域名注册服务 Domains
云速建站 CloudSite
企业协同
华为云WeLink
会议
ISDP
解决方案
全栈专属服务
高性能计算 HPC
SAP
游戏云
混合云灾备
快视频
华为工业云平台 IMC
价格
价格原则
成本优化最佳实践
昇腾
昇腾MindX SDK (20.3)
其他
管理控制台
消息中心
产品价格详情
系统权限
我的凭证
客户关联华为云合作伙伴须知
公共问题
宽限期保留期
奖励推广计划
活动
容器
云容器引擎 CCE
云容器实例 CCI
容器镜像服务 SWR
应用编排服务 AOS
容器交付流水线 ContainerOps
应用服务网格 ASM
多云容器平台 MCP
基因容器 GCS
容器洞察引擎 CIE
容器批量计算 BCE
云原生服务中心 OSC
网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
数据库
云数据库 RDS
文档数据库服务 DDS
分布式数据库中间件 DDM
数据复制服务 DRS
数据管理服务 DAS
云数据库 GaussDB(for MySQL)
云数据库 GaussDB NoSQL
云数据库 GaussDB (for openGauss)
数据库和应用迁移 UGO
大数据
MapReduce服务 MRS
应用中间件
应用管理与运维平台 ServiceStage
分布式缓存服务 DCS
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
消息通知服务 SMN
微服务引擎 CSE
云性能测试服务 CPTS
区块链服务 BCS
API网关 APIG
应用魔方 AppCube
分布式消息服务RocketMQ版
多云高可用服务 MAS
可信跨链数据链接服务 TCDAS
企业应用
云桌面 Workspace
云解析服务 DNS
应用与数据集成平台 ROMA Connect
ROMA资产中心 ROMAExchange
ROMA API
鸿源云道
华为乾坤
安全与合规
Web应用防火墙 WAF
漏洞扫描服务 VSS
企业主机安全 HSS
容器安全服务 CGS
数据加密服务 DEW
数据库安全服务 DBSS
态势感知 SA
云堡垒机 CBH
SSL证书管理 SCM
云证书管理服务 CCM
管理检测与响应 MDR
数据安全中心 DSC
威胁检测服务 MTD
DDoS防护 ADS
云防火墙 CFW
应用信任中心 ATC
安全技术与应用
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
智能协作
IdeaHub
企业网络
云管理网络
SD-WAN 云服务
边缘数据中心管理 EDCM
废弃-华为乾坤安全云服务
云通信
语音通话 VoiceCall
消息&短信 MSGSMS
隐私保护通话 PrivateNumber
开发者工具
SDK开发指南
API签名指南
DevStar
HCloud CLI
Terraform
Ansible
云生态
云市场
鲲鹏
昇腾
合作伙伴中心
华为云培训中心
用户服务
帐号中心
费用中心
成本中心
资源中心
企业管理
工单管理
客户运营能力
国际站常见问题
网站备案
支持计划
专业服务
合作伙伴支持计划
更新时间:2021/10/19 GMT+08:00
分享

查看告警信息

BCS服务自身提供运维监控能力,运维人员可以通过BCS查看告警信息。告警源包括BCS和CCE,常见告警参见表1

建议根据下表做初步筛查,如仍无法消除告警,请联系技术支持人员。

对于告警源为CCE的告警,若BCS服务相关实例状态正常,且业务正常,则请参考CCE 常见问题进行排查。

表1 BCS服务常见告警

告警名称

告警源

处理建议

节点连接排序节点失败

BCS

节点连接排序节点失败,可能原因有:

  • 短暂的网络波动导致peer节点与orderer节点通信失败。
  • Orderer节点本身状态异常。

如果是由于短暂的网络波动,那么该告警会在几分钟内自动停止并自动清除。

如果该告警持续存在,未能在若干分钟后清除,那么可能节点与排序节点的连接已经断开,此时请根据以下步骤进行排查:

  1. 登录区块链服务管理控制台,在左侧导航栏单击“服务管理”,单击服务名称进入服务详情页。
  2. 在“监控”页签下的活动告警中,从“资源名称”中获取containerName的值。
    图1 查看失败节点的containerName
  3. 登录服务所在CCE集群下的所有节点(节点需绑定弹性IP),执行“docker ps |grep containerName”命令(如下图所示),查询到的前缀为k8s_peer(如果查询的是orderer则是k8s_orderer)的容器即为触发告警的容器,最前方为对应的容器ID。
    图2 查看回显结果
    说明:

    登录服务所在CCE集群下节点的方法可参考后台虚拟机查看运维日志(CCE集群)

  4. 查看容器是否正常。
  5. 若orderer节点异常,可以尝试使用“docker restart 容器ID”命令重启节点。
  6. 如果上述步骤没能帮助您解决该问题,请进入AOM页面下的“日志 > 日志文件”页签,下载发出告警的服务集群上的Peer和Orderer日志文件到本地,联系并提供给运维人员进行处理。

节点访问数据库失败

BCS

节点在访问状态数据库文件时产生异常,可能原因有:

  • 状态数据库文件损坏或丢失。
  • 状态数据库挂载的存储服务被删除。

处理方法如下:

  1. 登录区块链服务管理控制台,在左侧导航栏单击“服务管理”,单击服务名称进入服务详情页。
  2. 先单击容器集群进入云容器引擎控制台,在“资源管理 > 存储管理”页面下查看BCS服务对应集群下绑定的peer的存储服务是否存在且正常。
    • 若存储服务不存在或不正常,请创建新的存储服务并重新绑定到BCS服务;
    • 若存储服务存在且正常,请根据下面的步骤处理。
  3. 在“监控”页签下的活动告警中,从“资源名称”中获取containerName的值。
    图3 查看访问数据库失败节点的containerName
  4. 单击告警条目,根据告警信息定位发出告警的集群信息(clusterID),以及告警的容器名称(containerName)。
  5. 进入相应的云容器引擎的“资源管理 > 存储管理”页面,根据集群信息筛选查看服务相对应的数据库存储服务是否存在。

    若不存在,请根据CCE存储管理的存储卷创建方法,创建相应的存储卷并进行关联。

  6. 登录服务所在CCE集群下的所有节点(节点需绑定弹性IP),执行“docker ps |grep containerName”命令(如下图所示),查询到的前缀为k8s_peer(如果查询的是orderer则是k8s_orderer)的容器即为触发告警的容器,最前方为对应的容器ID。
    图4 查看命令回显结果
    说明:

    登录服务所在CCE集群下节点的方法可参考后台虚拟机查看运维日志(CCE集群)

  7. 使用“docker exec -it 容器ID bash”进入相应的容器。
  8. 使用“find / -name production”命令,进入查找到的路径(路径如下图)。
    图5 查看路径信息

    进入上述路径后查看ledgersData/stateLeveldb/路径下的CURRENT、LOG以及MANIFEST-000****文件是否存在。若不存在可尝试使用“docker restart 容器ID”命令重启Peer容器。

  9. 如果上述步骤没能帮助您解决该问题,请进入AOM页面下的“日志 > 日志文件”页签,下载发出告警的服务集群上的Peer和Orderer日志文件到本地,联系并提供给运维人员进行处理。

Peer节点磁盘空间不足

BCS

Peer节点磁盘空间不足,需扩容。扩容方法如下:

  1. 登录区块链服务管理控制台,在左侧导航栏单击“服务管理”,单击服务名称进入服务详情页。
  2. 在“监控”页签下的活动告警中,从“资源名称”中获取containerID的值。
    图6 查看containerID
  3. 登录服务所在CCE集群下的所有节点(节点需绑定弹性IP),分别执行“docker ps”命令,直到找到CONTAINER ID对应的NAMES值,CONTAINER ID值为上一步获取的containerID的前12位。
    图7 查看节点回显结果
    假设NAMES值为“k8s_peer_peer-b738403d592c78f5463a8ccf24b4f7f8cc83d07a-0_default_b28328a1-8d7d-4686-8b4f-dd4333e2b400_0”,则对应的节点名称为“peer_peer-b738403d592c78f5463a8ccf24b4f7f8cc83d07a-0”。
    说明:

    登录服务所在CCE集群下节点的方法可参考后台虚拟机查看运维日志(CCE集群)

  4. 在BCS服务详情页,单击“更多信息 > 网络存储”,获取节点名称对应的云硬盘存储卷所在列的值,即云硬盘存储卷PVC名称。
  5. 登录CCE控制台,在左侧导航栏单击“资源管理 > 存储管理”。
  6. 在“云硬盘存储卷”页签下,选择BCS服务所在集群,单击PVC名称所在行的“更多 > 扩容”进行磁盘空间扩容操作。

Orderer节点磁盘空间不足

BCS

Orderer节点磁盘空间不足,需扩容。扩容方法如下:

  1. 登录区块链服务管理控制台,在左侧导航栏单击“服务管理”,单击服务名称进入服务详情页。
  2. 在“监控”页签下的活动告警中,从“资源名称”中获取containerID的值。
    图8 查看Orderer节点的containerID
  3. 登录服务所在CCE集群下的所有节点(节点需绑定弹性IP),分别执行“docker ps”命令,直到找到CONTAINER ID对应的NAMES值,CONTAINER ID值为上一步获取的containerID的前12位。
    图9 查看NAMES值
    假设NAMES值为“k8s_orderer_orderer-759ca9423d9805ed7b9b4aa274e54a2481aaaaa5-0_default_2827a84a-dfbd-49b0-a96e-9a73b0c65a32_0”,则对应的节点名称为“orderer_orderer-759ca9423d9805ed7b9b4aa274e54a2481aaaaa5-0”。
    说明:

    登录服务所在CCE集群下节点的方法可参考后台虚拟机查看运维日志(CCE集群)

  4. 在BCS服务详情页,单击“更多信息 > 网络存储”,获取节点名称对应的云硬盘存储卷所在列的值,即云硬盘存储卷PVC名称。
  5. 登录CCE控制台,在左侧导航栏单击“资源管理 > 存储管理”。
  6. 在“云硬盘存储卷”页签下,选择BCS服务所在集群,单击PVC名称所在行的“更多 > 扩容”进行磁盘空间扩容操作。

拉取镜像失败

CCE

镜像地址有误,如某些局点插件中配置的镜像地址错误、镜像仓库配置的权限有误。

大并发拉取镜像的时候,有概率失败,重试后如能拉取成功,则告警会清除。

拉取镜像重试失败

CCE

镜像地址有误,如某些局点插件中配置的镜像地址错误、镜像仓库配置的权限有误。修改地址重试后如能拉取成功,则告警会清除。

创建失败

CCE

请关注baas-agent、peer、orderer的Pod状态。

排查点:

  1. 判断容器资源分配是否正确:

    登录CCE控制台,单击左侧导航栏“工作负载 > 无状态负载”或“工作负载 > 有状态负载”,单击负载名称进入负载详情页,在“实例列表”页签中查看CPU申请量和内存申请量。

  2. 判断节点资源是否充足:

    登录CCE控制台,单击左侧导航栏的“资源管理 > 节点管理”,在“可分配资源”列中,查看实例所在节点的可分配CPU和可分配内存的大小。

启动重试失败

CCE

请关注baas-agent、peer、orderer的Pod状态。

排查点:

  1. 判断容器资源分配是否正确:

    登录CCE控制台,单击左侧导航栏“工作负载 > 无状态负载”或“工作负载 > 有状态负载”,单击负载名称进入负载详情页,在“实例列表”页签中查看CPU申请量和内存申请量。

  2. 判断节点资源是否充足:

    登录CCE控制台,单击左侧导航栏的“资源管理 > 节点管理”,在“可分配资源”列中,查看实例所在节点的可分配CPU和可分配内存的大小。

状态异常

CCE

请关注baas-agent、peer、orderer的Pod状态。

排查点:

  1. 查看健康检查是否失败:登录CCE控制台,单击左侧导航栏“工作负载 > 无状态负载”或“工作负载 > 有状态负载”,单击负载名称进入负载详情页,查看“更新升级 > 高级配置 > 健康检查”中的信息。

调度失败

CCE

请关注baas-agent、peer、orderer的Pod状态。

排查点:

  1. 判断节点资源是否充足:登录CCE控制台,单击左侧导航栏的“资源管理 > 节点管理”,在“可分配资源”列中,查看实例所在节点的可分配CPU和可分配内存的大小。
  2. 判断Pod调度策略是否正确:登录CCE控制台,单击左侧导航栏“工作负载 > 无状态负载”或“工作负载 > 有状态负载”,单击负载名称进入负载详情页,查看“ 调度策略 > 自定义调度策略”。
说明:

CoreDNS插件是一款通过链式插件的方式为Kubernetes提供域名解析服务的DNS服务器。CoreDNS正常运行需要集群中至少有两个节点。因此当BCS实例所在集群中节点数量小于2个时,会频繁出现“调度失败”告警,不影响BCS功能使用。

判断方法:

  1. 登录区块链服务管理控制台。
  2. 在左侧导航栏,单击“服务管理”。
  3. 在服务卡片上,单击区块链名称,查看区块链服务的详细信息。
  4. 进入“监控”页签,单击告警所在行的“资源名称”列,查看name的值,若name值为“coredns-”开头,则该告警为无需处理。

节点重启

CCE

节点发生过重启。如果该节点上部署了baas-agent、peer、orderer服务,则排查对应Pod状态是否异常。如果该节点上未部署上述服务则对BCS服务无影响。

排查点:

  1. 是否由于人为操作(关机、重启等)导致重启。
  2. 是否由于节点资源过载导致重启:登录AOM控制台,单击左侧导航栏的“监控 > 主机监控”,查看CPU使用率和内存使用率。

节点状态异常

CCE

如果该节点上部署了baas-agent、peer、orderer服务,则需恢复节点状态或迁移服务到其它节点。

排查点:

  1. 判断节点资源是否充足:登录CCE控制台,单击左侧导航栏的“资源管理 > 节点管理”,在“可分配资源”列中,查看实例所在节点的可分配CPU和可分配内存的大小。
  2. 重启节点。
  3. 重置节点:登录CCE控制台,在左侧导航栏中选择“资源管理 > 节点管理”,单击节点后的“更多 > 重置节点”。

节点内存资源告警

BCS

节点虚机内存使用率超过80%,可能原因有:

  1. 短时间交易请求过多。
  2. 容器所在节点内存资源规格与服务规格不匹配。

排查点:

  1. 登录区块链服务管理控制台。在左侧导航栏,单击“服务管理”。
  2. 在“Hyperledger Fabric增强版”页签,单击服务名称进入服务详情页。
  3. 在“监控”页签下的活动告警中,从“资源名称”中获取containerName的值。
    图10 查看节点的containerName值
  4. 登录云容器引擎控制,找到告警容器所在的集群节点。在“资源管理-节点管理”页面单击节点名称进入弹性云服务器页面。
  5. 在弹性云服务器页面,先将云服务关机,再单击选择“更多 > 变更规格 ”,在新打开的云服务器变更规格页面,根据情况选择合适的内存规格。

节点内存使用率过高

BCS

节点虚机内存使用率超过90%,可能原因有:

  1. 短时间交易请求过多。
  2. 容器所在节点内存资源规格与服务规格不匹配。

排查点:

  1. 登录区块链服务管理控制台。在左侧导航栏,单击“服务管理”。
  2. 在“Hyperledger Fabric增强版”页签,单击服务名称进入服务详情页。
  3. 在“监控”页签下的活动告警中,从“资源名称”中获取containerName的值。
    图11 查看containerName的值
  4. 登录云容器引擎控制,找到告警容器所在的集群节点。在“资源管理-节点管理”页面单击节点名称进入弹性云服务器页面。
    图12 节点管理页面
  5. 在弹性云服务器页面,先将云服务关机,再单击选择“更多 > 变更规格 ”,在新打开的云服务器变更规格页面,根据情况选择合适的内存规格。
    图13 变更规格

查看告警

  1. 登录区块链服务管理控制台。
  2. 在左侧导航栏,单击“服务管理”,可查看已创建服务的基本信息,包括区块链的类型、共识策略、状态、创建时间等信息。
  3. 在服务卡片上,单击区块链名称,可查看区块链服务的详细信息。
  4. 单击“监控”页签,可查看告警信息。这里展示的是与该区块链服务相关的告警,告警源包括BCS和CCE。在右上角可以选择查看“近30分钟”、“近1小时”或“近1天”的告警,也可以输入告警名称搜索告警。

    图14 告警统计信息

  1. 单击告警名称,例如“节点连接排序节点告警”,查看告警详情。告警源包括BCS和CCE,告警处理建议参见表1
分享:

    相关文档

    相关产品