软件开发平台 DevCloud软件开发平台 DevCloud

计算
弹性云服务器 ECS
裸金属服务器 BMS
云手机 CPH
专属主机 DeH
弹性伸缩 AS
镜像服务 IMS
函数工作流 FunctionGraph
云耀云服务器 HECS
VR云渲游平台 CVR
特惠算力专区
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
弹性文件服务 SFS
存储容灾服务 SDRS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属企业存储服务
云存储网关 CSG
专属分布式存储服务 DSS
CDN与智能边缘
内容分发网络 CDN
智能边缘云 IEC
智能边缘小站 IES
智能边缘平台 IEF
人工智能
AI开发平台ModelArts
华为HiLens
图引擎服务 GES
图像识别 Image
文字识别 OCR
自然语言处理 NLP
内容审核 Moderation
图像搜索 ImageSearch
医疗智能体 EIHealth
园区智能体 CampusGo
企业级AI应用开发专业套件 ModelArts Pro
人脸识别服务 FRS
对话机器人服务 CBS
视频分析服务 VAS
语音交互服务 SIS
知识图谱 KG
人证核身服务 IVS
IoT物联网
设备接入 IoTDA
设备管理 IoTDM(联通用户专用)
全球SIM联接 GSL
IoT开发者服务
IoT数据分析
车联网服务 IoV
路网数字化服务 DRIS
IoT边缘 IoTEdge
设备发放 IoTDP
开发与运维
软件开发平台 DevCloud
项目管理 ProjectMan
代码托管 CodeHub
流水线 CloudPipeline
代码检查 CodeCheck
编译构建 CloudBuild
部署 CloudDeploy
云测 CloudTest
发布 CloudRelease
移动应用测试 MobileAPPTest
CloudIDE
Classroom
开源镜像站 Mirrors
应用魔方 AppCube
云性能测试服务 CPTS
应用管理与运维平台 ServiceStage
云应用引擎 CAE
视频
实时音视频 SparkRTC
视频直播 Live
视频点播 VOD
媒体处理 MPC
视频接入服务 VIS
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
资源管理服务 RMS
应用身份管理服务 OneAccess
区块链
区块链服务 BCS
可信跨链服务 TCS
智能协作
IdeaHub
开发者工具
SDK开发指南
API签名指南
DevStar
HCloud CLI
Terraform
Ansible
API问题定位指导
云生态
云市场
合作伙伴中心
华为云培训中心
其他
管理控制台
消息中心
产品价格详情
系统权限
我的凭证
客户关联华为云合作伙伴须知
公共问题
宽限期保留期
奖励推广计划
活动
容器
云容器引擎 CCE
云容器实例 CCI
容器镜像服务 SWR
应用编排服务 AOS
多云容器平台 MCP
基因容器 GCS
容器洞察引擎 CIE
云原生服务中心 OSC
容器批量计算 BCE
容器交付流水线 ContainerOps
应用服务网格 ASM
网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
数据库
云数据库 RDS
数据复制服务 DRS
文档数据库服务 DDS
分布式数据库中间件 DDM
云数据库 GaussDB (for openGauss)
云数据库 GaussDB(for MySQL)
云数据库 GaussDB NoSQL
数据管理服务 DAS
数据库和应用迁移 UGO
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
可信智能计算服务 TICS
推荐系统 RES
云搜索服务 CSS
数据可视化 DLV
数据湖治理中心 DGC
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
API网关 APIG
分布式缓存服务 DCS
分布式消息服务RocketMQ版
企业应用
域名注册服务 Domains
云解析服务 DNS
云速建站 CloudSite
网站备案
华为云WeLink
会议
隐私保护通话 PrivateNumber
语音通话 VoiceCall
消息&短信 MSGSMS
云管理网络
SD-WAN 云服务
边缘数据中心管理 EDCM
云桌面 Workspace
应用与数据集成平台 ROMA Connect
ROMA资产中心 ROMAExchange
API全生命周期管理 ROMA API
安全与合规
安全技术与应用
DDoS防护 ADS
Web应用防火墙 WAF
云防火墙 CFW
应用信任中心 ATC
企业主机安全 HSS
容器安全服务 CGS
云堡垒机 CBH
数据库安全服务 DBSS
数据加密服务 DEW
数据安全中心 DSC
云证书管理服务 CCM
SSL证书管理 SCM
漏洞扫描服务 VSS
态势感知 SA
威胁检测服务 MTD
管理检测与响应 MDR
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
专属云
专属计算集群 DCC
解决方案
高性能计算 HPC
SAP
游戏云
混合云灾备
华为工业云平台 IMC
价格
成本优化最佳实践
专属云商业逻辑
用户服务
帐号中心
费用中心
成本中心
资源中心
企业管理
工单管理
客户运营能力
国际站常见问题
支持计划
专业服务
合作伙伴支持计划
更新时间:2021-03-18 GMT+08:00
分享

基于Pipeline的DevOps核心实践

本文主要讲述华为从自有研发实践到向外输出的服务——DevCloud流水线Pipeline,以及基于Pipeline的DevOps实践。

本文分为以下四部分,前三部分侧重于理论,第四部分将演示在保障质量的情况下,如何让代码提交快速上线。

DevOps在华为

在华为的研发历程中,IPD(集成产品开发)的影响比较大,从IPD引入华为之后,华为的研发模式才真正做了集团化、正规化的研发模式道路。此后,如测试自动化工厂、DevOps、CI、DevOps大规模敏捷等等,每次研发模式的变更都会带来一部分工具的沉淀,工具本身又会随着模式和技术的变更不断的发展。例如,华为的研发工具部在2003年左右就成立了,最早聚焦在测试自动化工厂方面,包括软件自动化工厂、硬件自动化工厂等等。在CI方面,华为后来引入了持续集成的工具和平台,以及持续交付(CD)的流水线,未来还有随着微服务化、基于无线化的AI流水线,还会继续探索。下图展示了工具和平台发展的过程。

DevOps的核心理念就是CALMS,包括文化和精益的理念、度量和分享。我们有一个自动化的工具平台在支撑。任何先进理念的落地一定离不开最终沉淀下来的自动化工具平台。如果全部靠人完成,那么这个活动将无法快速变现,并且难以高质量地重复执行。所以在核心实践方面,DevOps团队的协作,实现全功能团队,以及领域特性团队显得尤为重要。在架构方面,从原来的单体软件到逐步分层软件,再到现在微服务化架构软件逐步演进。环境方面,从裸金属服务器,后面逐步到虚机再到容器化,倡导基础设施即代码,通过容器化去演进环境的差异,来提升未来环境方面投入的力量和工作。

我们在编程中发现,无论是本地的开发环境还是DTAP四大环境,环境的链条和测试恢复、部署、出问题的定位时间占团队时间30%以上,这是非常大的工作量。在这个过程中,整个交付过程中会实现把所有东西自动化,包括测试自动化、精益看板、构建、部署、发布、测试,以及灰度发布,还有后续到生产环境的监控。

流水线整个调度中,涉及到的动作可能会有几十到几百个。DevCloud几十个团队,这么多人和团队以及不同的服务之间,如果想要进行一次完整的发布流程,并且没有工具,即全部靠人工拷贝、搭建各个环境,把一个环节搭建好的结果流到下一个环节去,无论如何都不可能有多快,特别是在软件规模越大的情况下。假设一个100万行的产品要全部走下来一个发布流程,全人工至少要一个星期或者几个星期才有可能上线。所以流水线把持续交付进行自动化的特性,对DevOps来说是一个最核心的实践,它能够提高持续交付的速度和质量。

下图是一张DevOps的工具链的图,从代码需求的分发到代码的提交以及自动关联需求,代码的提交触发后续的测试,以及线上的环节,一个工具链打通完整的路径,实现端到端的交付和支持。

不同研发模式下流水线的应用与思考

第二部分重点讲述基于华为的流水线支撑的实践,支持三种主流模式:

  • 第一种模式:大规模开发

    华为起家的核心是交换机,交换机本身业务分成多层架构,例如上面的控制层到下面的数据传送层等。在自我分层的基础上,向上对接网管等各种监控工具,再横向和后端的传送网、骨干网对接,进行数据的传递和核心的传递。在这个基础之上,华为做了一个2012实验室——这是一种大平台战略,几乎所有的产品线产品都会用到的公共平台,而且这个平台的能力是重平台薄产品,平台会达到80%的代码量,可能会越来越大。这时候如果产品要用到另外一个BG产品线的平台就是一个非常大的困难了,在产品线内部也会尽量把一些公共特性下沉为小平台,所以一个核心网络产品从各个角度来看,复杂是最核心的特点。

    产品的代码量是非常大的。一般来说,一个产品一百万行或者几百万行是非常正常的,需求一千万行也是非常正常的。这么大规模的代码不可能由一个团队开发,DevCloud是由产品线以及各种周边配合,涉及的团队非常复杂。基于时代背景来看,核心网络产品要交付出来,在以前经常需要一年多以上,基本是一年一个版本,半年的时间做线上验证,包括到客户的机房验证,那个时候升级都需要选访问量最低的时候进行半夜断网升级。

    怎么保证迭代的速度加快,迭代的质量逐步变得更好呢?后来我们探索了一套模式是分层分级流水线,进行大规模开发的持续交付模式,建立一个合理的结构,我们通常会分成四层。

    个人级流水线:团队一般每天提交几次到数十次不等。这时候在本地会先做代码的增量静态检查、增量单元测试,以及功能测试。如果这些检查都没有问题,全部通过,代码会上传到云端配置库。此时触发一个提交构建,就到了项目级流水线。

    项目级流水线包括提交构建、滚动构建和全量构建。提交构建通常需要做的是全量的静态检查和冒烟用例。个人级和项目级流水线提交构建,随时提交就能够触发整个构建和流水线的运行和执行,属于随机发生模式。滚动构建和全量构建属于班车模式。班车是定点定时发,无论是坐地铁还是公交车、火车、飞机,时间是固定的,每个人去赶飞机、地铁、公交,如果迟到就需要等待下一趟。对于一个研发团队或者一个产品,一天内代码提交通常有三个峰值,上午10-11点是一个峰值,下午5点左右是一个峰值,晚上8点多有一个属于加班同事的小高峰。所以一般来说,一个项目级流水线会发三个班车,就是中午12点、下午6点、晚上9点半,这三个班车永远是固定的,团队无论有无提交都会发车,定点执行。

    这就实现了一个协同,有多个人提交或者每个人提交都会执行,执行的时候会看结果如何。这种时候一般会做基础用例、拉通用例、滚动用例模式。如果定点发车了,会推送到全量构建,解决他们的协同发布。通常是晚上12点会执行一轮,第二天早上整个项目组的同事就收到了流水线测试的结果。如果成功了,大家欢庆一下;如果不成功,就赶快解决问题,因此所有人一早就要解决持续交付流水线的问题。

    滚动构建成功之后,还会把这个包归到版本级流水线的构建里面,在版本级流水线里面滚动构建并测试,当这些全部执行成功后,就会再向下游拉通全链条测试。对于版本级流水线,滚动构建也会投入流水线当中,会比项目级构建晚两个小时,如果自动化率足够高,大部分问题都可以解决。

    所以,对于一个典型的大规模敏捷产品,我们有四层分级的流水线,里面有随机发车和定点发车的模式,也有实现这样的高速流转的对应解决方案。

    在此过程中,流水线在每一个执行阶段都会有一些门禁的判断,任何一个任务跑完了,都有门禁进行把控。只有通过项目组设定的门禁,才能向下走;如果不通过,流水线就终止了,先把基于静态检查的问题解决完,才能继续向下走。这种方式,不像过去有最终的发布评审,到最后的上线环节再搞发布评审,而是在每一个部分就会把所有的门禁做上去,由此来保证在每一个任务的成功和每一个阶段的成功,以保证最终的成功。

    此处与传统的交互模式做一下结构比较,传统交付模式越向后的环节越容易出现问题。例如产品级或者解决方案级一集成,越向后,问题会越来越多、越来越大,再返回来到每一个小团队解决问题,实际上这已经比较晚了,解决的成本也很高。使用了分层分级流水线之后,越向前的环节发现越早,就把问题拦截下来了。

    从我们的分析和实践结果来看,假设有四层流水线,个人级提交一定最多,因为每天有几次几十次,每个人提交到代码仓的构建在两次左右,除非BUG多一些。再向后就到了班车模式,一般来说,每天进行三次滚动构建。到最后的全量测试,每天执行一次即可。通常越前端的流水线会越早发现问题,原来是最后进行发布评审,现在如果是有了每个任务的质量门禁,每次执行的时候,越在流水线的前端环节,被执行的次数越多,发现问题的概率也越高,符合分层分级流水线的理念结果。

    当然,分层分级持续交付的模式下面,会有很多其他构想。包括如何快速搭建第一条流水线,不同层级的流水线如何快速复制,并且搭建自己对应层级的流水线,以及上一级流水线成功后如何自动触发下一级流水线的执行,这些是最基本的思考。

  • 第二种模式:微服务开发

    DevCloud团队本是一个微服务化的实践者,有100多个微服务,基本全部微服务化,前端已经全部拆解完。在这个模式下面,首先,架构解耦;其次,结构上最终一定要实现每一个组件足够小,而且尽量没有依赖的。在这个基础上,每一个团队能够比较自由地自我裁决、自我决定。比如发布,以前在传统的模式下,一个团队肯定是要分运维团队、测试团队或者是开发团队、产品团队、QA团队(都是单独的),真正在微服务开发模式下,做成一个全功能团队之后,已经没有非常明显的角色分工,很多功能测试等等都是由开发人员自己去实现的,这个时候对于开发人员来说,既是开发人员也是测试人员、运维人员,会对运维服务的开发、测试、上线、结果,会端到端负责。所以我们针对微服务会做权限的设置,去匹配新的角色模式,一个人可以端到端的执行完整条流水线。上线之前还可以有一个环节,例如和产品经理一起看一下是否满足客户需求等等,如果后续流水线承载的自动化测试的手段都能够完全达到质量发布的条件,届时也不需要评审了。整个过程有40-50%做到不需要人工干预,下一步这个比例还会继续放大。

    因为微服务化了,这100多个组件中间还要发一些补丁,一天内都上线是很糟糕的事情,每个微服务中断几分钟,一天下来是几百分钟,整个服务就不可用了。因此微服务模式下一定要实现灰度发布,最基本不能中断业务。

    DevCloud团队在最早的时候,每个星期五晚上要12点开放升级,把测试和研发团队、领导都喊起来,整个团队从2点到4点进行测试;测试完成后,4点之前我们决定BUG修复完,再回溯一遍。这个过程每周一次,那时团队成员很痛苦、疲惫,第二天一整天什么也做不了。

    后来通过微服务实践和灰度发布实践,才把团队从超级繁忙的、每周一次的超级作战中解放出来,这对团队整体的士气和工作效率的提升都是非常明显的。如果真的发现在灰度测试中出现问题,或者版本有重大的缺陷,要能够触发自动回滚或者手动回滚。这时候运维人员会选前一个包直接启动流水线部署,把灰度测试灰度过的环境全部覆盖掉。

    在微服务开发模式下,管理很重要。使用K8S时,如果版本号不增长就不会部署(只要版本不变,就认为是同一个包,因此不会启动部署)。所以版本管理、版本增长等方面都要在流水线上做到位。同时因为这种发布模式时间非常短,我们可以做到小时级、分钟级发布。这种情况下,我们会通过线上A/B、加大测试,在线做各种自动化测试,包括拨号测试、性能测试、压力测试、安全测试等等。在真正大规模灰度之前,就已经把基于真实环境的质量构建好了,其中在线测试、前置测试的比重都要加大。

  • 第三种模式:静态资源部署

    静态资源部署不需要重新编译构建出包。通过部署流水线,把静态资源拉包,部署到北京、上海、广州、成都等等各个CDN去。在这个过程中,多地区的并行部署以及跨地域的部署是DevCloud重点支持的方向。

流水线关键技术

DevCloud流水线 (CloudPipeline)涉及的关键技术,能够保证用户量增长不会面临宕机。

  • 首先,流水线随时可用、高可用
  • 其次,通过数据云化存储、高隔离、权限控制来保证数据的安全。
  • 执行效率方面,除了并发调度系统,对每个单一任务会做非常多的功能,例如代码预读、分发、增量等等,加速整个流水线的速度。
  • 为了用户的使用成本变得越来越低,尽量将配置简化和维护,提供配置模块以及可集成云化的服务去减少开发工作量。

DevCloud是基于Jenkins的流水线来实现master的调度机制。

DevCloud定义了一种CDDL语言(Continuous Deliver Domain Language),它具备非常好的可扩展性,同时CDDL语言解释器和平台无关,因此可以做到在任何平台上的灵活调度。CDDL的设计参考了UML中的状态机模型,更易于控制。

流水线还涉及到其他的关键技术,支持百万级的并发调度。此外关键技术能力还包括“七个一切”,前四个是一切即代码、版本、服务、数据,在“基础设施即代码”的基础上,引入了这些概念,形成一条可视化流水线。基于以上能力,形成了后三个一切。一切自动化:流水线一旦被调用,可能有几十、几百个步骤,如果全部依靠人工操作,则不可能像自动化流水线一样,有这么高的可靠性和可重复性。DevCloud的流水线是可视化的,可以看到每个环节步骤具体进行的情况。未来产品还将更加智能化。

流水线还涉及到其他的关键技术,百万级的并发调度是没有问题的。还有“七个一切”,前四个是一切即代码、版本、服务、数据,在我们这里申请一条可视化的流水线。一切即版本化。以及所有的构建出的包、打出的镜像是什么版本号,所有的东西都要版本化。随时产生出几百、几千个版本包出来。一切都是数据。基于这些之后,有三个一切,一切都是自动化。流水线一调,可能有几十几百个步骤,全部靠人工,不可能有这么高的可靠性,可重复和质量的。我们会做成可视化的流水线,未来还会更加智能化。

快速交付实战演练

下图在生产环节上创建的一个流水线实例。

从图中可以看到,这个流水线执行了很多次。最近五次的执行结果中有失败的,流水线的成功和失败都是一种状态,失败也不用怕,可以帮助我们发现问题。

我们的最终目标还是要提升成功率,尽量检查出由于配置出错导致的构建失败,或者个别服务出现问题。我们可以看到历史构建的软件包,选择一个进行回滚。在代码检查时,可以做一个代码质量门禁,例如这个代码检查任务执行完之后,发现原来有100个问题,现在修复完95个,只剩5个,如果预定的门禁是10个,就可以继续向下跑。API测试也是这样,测试门禁里面生产百分之百,如果有20个没有通过,继续执行就会失败,要修复完所有环节才可以继续执行。

此外,任务还有健康度,可以看到哪个任务失败次数多。对已经关联流水线的代码进行修改提交后,可以重新执行流水线。在此过程中,可以看到构建任务在运行中,也可以直接看到日志并下载全量。构建任务执行成功,流水线会流转到下一个环节,直至部署成功,访问对应页面查看效果,代码修改生效。这就是如何修改一行代码,能够保证让用户满意,真正快速地发布到现网。

在代码仓库中可以设置提交后自动触发流水线,例如同一个代码仓拥有两个分支,可以分别设置是否提交后触发流水线,设置后,不需要手动执行流水线,它会在提交代码后自动执行。这是前文提到的两种模式中的一种,叫做随机发生模式。

还有一种模式是定点发车。每天指定时间执行流水线,如果这是一条版本级流水线,或者是一条项目级流水线,我们可以去设置每天什么时候自动执行一遍,无论是否有提交或者合并,到时间都会执行,如果有,则对已有的结果进行质量的测试和监控,并且最终保证流水线交付的应用质量是没有问题的。

在流水线中,失败率最高的Top3任务被面标识出来,按照执行失败的次数排序,我们可以看到哪些环节是健康的,哪些环节阻碍了任务的继续执行,所以这是一个非常好的实践。

对于健康度,失败率Top3的子任务(流水线每个环节中的任务)会在整条流水线中标识出来,并且可以按照执行失败的次数进行排序。由此,可以发现哪些环节是健康的,哪些环节阻碍了任务的继续执行,这是一个非常好的实践。

此外,在DevCloud的需求规划中,可以看到工作项关联的代码提交记录,并直接跳转查看提交的代码的内容,非常方便查看、追踪基于需求的代码运行情况以及应用发布情况,并且还可以关联bug,真正实现了端到端的双向追溯。这就是整个流水线的演示。

此外,DevCloud还支持移动端的移动运维,如果装了DevCloud APP,就可以在家里,或者咖啡馆、高铁上面随时可以查看流水线执行结果,并且可以再次执行它,察看它的错误码、错误日志,以确保随时随地的移动运维,移动交付。

最后用这一句话结尾:使用尽量多的自动化,并且用更短的交付时间,从代码提交到最终上线的时间来驱动整个团队在DevOps上实践的落地。

分享:

    相关文档

    相关产品

关闭导读