对AOSP构建工程配置构建加速

加速前准备

在一般的构建工程中，其构建过程大致分为构建前准备（工具链、代码仓）、构建依赖件准备（ninja文件生成）、编译构建、构建后操作（打包、检查等）。其中，构建加速介入编译构建阶段，对此前的构建过程中生成的构建依赖件进行解析，并执行编译。

在配置构建加速前，需如下准备：

• 找到构建依赖件准备的节点，以AOSP为例，一个形态的编译命令如下：

  1 2 3

  source build/envsetup.sh lunch aosp_x86_64-eng make -j64

• 准备好构建使用的docker镜像，基于该docker镜像制作新镜像：在dockerfile中增加“/opt/buildtools”目录供加速工具部署，并确保构建用户对“/opt/buildtools”目录有权限写入。参考命令如下：

  1	RUN mkdir -p /opt/buildtools && chmod -R 777 /opt/buildtools

通过BuildFlow组织加速构建

构建加速需要结合多任务代码化构建使用，可参考多任务YAML文件结构详解中的部分配置。

BuildFlow配置方法如下样例：

1
2
3
4
5
6
7

buildflow:
  jobs_resolver: # 必配
    provider: tbuild_jobs_resolver # 必配，固定值
    jobs: # 需要进行编排的任务集
        - job: distribute_job # 构建任务名称
          build_ref: accelerate.yml # 指定构建加速脚本，脚本名称可自定义
          worker: 2 # 指定为16vCPU的倍数，例如2就代表使用了32vCPU进行加速

参数说明如下：

• jobs_resolver：buildflow的子节点，必配。
• provider：此处使用的provider为jobs_resolver的高级选项，意为指定job对应的任务解析器，取值固定为tbuild_jobs_resolver。
• jobs：需要进行编排的任务集，此处的jobs作为jobs_resolver的子节点，与普通构建场景buildflow下的jobs子节点有所区别，配置时请注意缩进。
• job：构建任务名称，可自定义。
• build_ref：该构建任务在构建过程中需要运行的加速构建脚本。
• worker：指定为16vCPU的倍数，例如2就代表使用了32vCPU进行加速。

配置示例1：依赖解析模式

1. 获取json文件。

   在分支A编写BuildFlow配置中build_ref指定的accelerate.yml，示例如下：

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

   version: 2.0 params: - name: TB_GET_ORI_TRACE value: "1" steps: PRE_BUILD: - checkout: name: "checkout" inputs: scm: "codehub" url: "git@codehub.devcloud.example.example.com:example.git" branch: "master" lfs: false submodule: false BUILD: - tbuild_execute: inputs: image: "swr.example.example.com/buildimage:AOSP" command: "cd AOSP && chmod a+x build.sh && BuildAccelerateL3 -AOSP ./build.sh && mv out/TBTrace_droid_1.json /example/TB1.json"

2. 执行分布式构建。

   在分支B编写BuildFlow配置中build_ref指定的accelerate.yml，示例如下：

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

   version: 2.0 params: - name: TB_BUILDTRACE_ALL value: "1" - name: TB_RSYNC value: ${WORKSPACE}/AOSP/:out/target/product/generic_x86_64 steps: PRE_BUILD: - checkout: name: "checkout" inputs: scm: "codehub" url: "git@codehub.devcloud.example.example.com:example.git" branch: "master" lfs: false submodule: false BUILD: - tbuild_execute: inputs: image: "swr.example.example.com/buildimage:AOSP" command: "mv /example/TB1.json AOSP/TB1.json && cd AOSP && chmod a+x build.sh && BuildAccelerateL3 -AOSP ./build.sh && ./post_build.sh"

配置示例2：产物分类模式

在分支C编写BuildFlow配置中build_ref指定的accelerate.yml，示例如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

version: 2.0 

params: 
  - name: TB_RSYNC 
    value: ${WORKSPACE}/AOSP/:out/target/product/generic_x86_64

steps: 
  PRE_BUILD: 
  - checkout: 
      name: "checkout" 
      inputs: 
        scm: "codehub" 
        url: "git@codehub.devcloud.example.example.com:example.git" 
        branch: "master" 
        lfs: false 
        submodule: false 
  BUILD: 
  - tbuild_execute: 
      inputs: 
        image: "swr.example.example.com/buildimage:AOSP" 
        command: "cd AOSP && chmod a+x build.sh && BuildAccelerateL3 -AOSP ./build.sh && ./post_build.sh"

params参数项详解

params配置项指定了一些使用AOSP构建加速必配的参数，参数说明如下：

steps参数项详解

steps配置项定义了构建过程，示例中包含如下两个步骤：PRE_BUILD（构建前准备）和BUILD（编译构建）。

• PRE_BUILD

  此阶段主要做代码下载，参数解释如下：

  1 2 3 4 5 6 7 8 9

  PRE_BUILD: - checkout: # 代码下载步骤 name: "代码下载" # 步骤名称，可自定义 inputs: # 步骤参数 scm: "codehub " # 代码来源:只支持Repo url: "git@codehub.devcloud.example.example.com:test/python3.git" # 拉取代码的ssh地址。 branch: "master" # 拉取的代码分支。 lfs: false # 选择是否开启Git LFS，false关闭、true开启。构建默认不拉取音视频、图像等大型文件，开启Git LFS后，构建将会全量拉取文件。 submodule: false # false关闭、true开启。开启该功能，系统在构建时会自动拉取子模块仓库的代码。

• BUILD

  此阶段主要定义了download_artifact插件、tbuild_execute插件和upload_artifact插件，参数解释如下：

  1 2 3 4 5 6 7 8 9 10 11 12

  BUILD: - tbuild_execute: # AOSP加速场景下固定配置，定义tbuild_execute插件 inputs: # 固定配置 image: "swr.xx-xx-x.myxxcloud.com/buildimage:AOSP" # 构建使用的镜像，参考加速前准备章节制作docker镜像。 command: "mv /example/TB1.json AOSP/TB1.json && cd AOSP && chmod a+x build.sh && BuildAccelerateL3 -AOSP ./build.sh && ./post_build.sh" # command为构建使用的命令，此处将构建分解为两个段落，准备和执行 # mv /example/TB1.json AOSP/TB1.json 是依赖解析模式独有的准备步骤，文件名字固定，如果工程中存在多个ninja构建，则文件的下标依次增加，例如TBTrace_droid_2.json和TB2.json，以此类推。 # 准备阶段:在代码仓根目录新建build.sh，内容见build.sh样例 # 构建阶段:依照加速级别调用加速命令（BuildAccelerateL1 BuildAccelerateL3）的AOSP模式（-AOSP）直接执行构建，此处样例取值BuildAccelerateL3 -AOSP # 后处理阶段:以实际工程需要为准，该示例仅使用post_build.sh # 依赖解析模式实际命令最终拼接为"mv /example/TB1.json AOSP/TB1.json && cd AOSP && chmod a+x build.sh && BuildAccelerateL3 -AOSP ./build.sh && ./post_build.sh" # 产物分类模式实际命令最终拼接为"cd AOSP && chmod a+x build.sh && BuildAccelerateL3 -AOSP ./build.sh && ./post_build.sh"

  build.sh样例：

  1 2 3

  source build/envsetup.sh lunch aosp_x86_64-eng make -j64

高级选项

高级选项均为非必填选项，在构建过程中有工程无法执行需要特殊适配或优化性能时配置，若随意配置可能会导致构建失败。