操作流程

步骤一：绑定资源

AI科学计算服务的分析作业是以容器的形式在CCE集群中运行，用户可在平台绑定本账号下的CCE集群用于此功能的运行。

• 当前支持CCE集群1.28和1.31版本。
• 如果您没有可用的CCE集群，需先创建CCE集群。CCE 1.28仅支持使用api接口创建，CCE 1.31支持通过页面创建。
• 如果您已有CCE集群，但CCE集群版本低于1.28，则可参考升级集群的流程和方法，建议将集群升级至1.28或1.31版本。

具体操作步骤如下：

步骤二：创建空间

您可以在AI科学计算平台创建新空间，并在空间范围内上传数据、创建作业等。“空间列表”展示了当前用户有权限访问的空间。

图25 创建新空间

创建新空间时可直接创建一个OBS桶，也可使用已有的桶。

图26 创建新空间2

创建桶的命名遵循obs桶命名规则：

• 需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。用户删除桶后，立即创建同名桶或并行文件系统会创建失败，需要等待30分钟才能创建。
• 长度范围为3到63个字符，支持小写字母、数字、中划线（-）、英文句号（.）。
• 禁止两个英文句号（.）相邻，禁止英文句号（.）和中划线（-）相邻，禁止以英文句号（.）和中划线（-）开头或结尾。
• 禁止使用IP地址。

使用OBS桶存储数据会产生一定的费用，具体计费详情请参考 OBS计费说明。

步骤三：从dockerhub下载镜像

1. 在linux环境上配置docker环境。

   curl -fsSL get.docker.com -o get-docker.sh
   sh get-docker.sh

2. 配置完成后，运行docker命令，可查看docker的信息。
   图27 docker信息
   
3. 构建镜像。
   • 可以在dockerhub官网上进行搜索，选择出对应的名称与版本。
   • 可以使用docker search命令进行搜索镜像。
   • 若dockerhub上没有想要的镜像，可以利用基础的操作系统镜像进行构造，构造方式请参见用户指南。
4. 选择和获取镜像。

   搜索到的镜像列表中选择一个镜像进行pull，这里以pegi3s/fastqc为例。

   

5. pull镜像。

   若该镜像没有lastest版本则需进入dockerhub官网进行查询。

   

6. 查看镜像是否pull成功。

   用docker images命令查看镜像是否pull成功。如果您本地已经有很多镜像，防止查询出全部镜像，可在docker images命令后面添加 | grep pegi3s使查询更精准。

   

7. 查询软件命令，以fastqc为例。熟悉该软件时可跳过。

   复制上一步查找到的fastqc的id。利用docker run imagesId fastqc--help命令进行查询。fastqc--help可以替换成任何fastqc的命令，与linux类似。

   

步骤四：上传镜像至AI科学计算平台

1. 配置命令行工具。

   若已完成配置，可跳过此步骤。

2. 在命令行工具所在的目录，使用switch命令进入AI科学计算平台的空间中。

   # 命令结构
   ./ai4s switch project <project-name>
   # 命令示例，例如进入到名为user-tutorials的空间中
   ./ai4s switch project user-tutorials

3. 使用docker tag命令给要上传的镜像打标签。

   # 给上传的镜像打标签
   ./ai4s docker tag bioinfo_ubuntu2204 bioinfo_demo:latest

   

4. 使用docker push命令将镜像上传至AI科学计算平台。

   # –t APP 可不加，在平台上也可以对其进行设置，push前需要先switch到对应的空间中
   ./ai4s docker push bioinfo_demo:latest –t APP

   

   上传成功后，可以转至平台查看已经上传的镜像。

   

步骤五：创建multifasta应用

上一步骤中，已经将bioifo_demo的镜像上传至平台，本步骤使用该镜像创建multifasta应用。

1. 单击“创建应用”，进入创建应用页面。
   图28 创建应用
   
2. 填写应用的基本信息，包括“名称”、“版本”、“图标”、“标签”、“短描述”和“长描述”。
   图29 基本信息
   
3. 选择镜像和镜像版本。
4. 填写镜像启动命令。

   镜像启动命令需要引用输入、输出参数中的变量，并以大括号扩起，以$符号进行引用。

   镜像启动命令支持多行输入，每行最多256字符，最多支持300行。

   镜像启动命令如下所示。

   bash ${multifasta} -i ${indir} -o ${outfile}

   图30 选择镜像以及配置镜像启动命令
   
5. 填写输入参数、输出参数。

   参数填写时，输入参数及输出参数有字符串（String），文件（File），文件夹（Directory），枚举（Enum）四种类型。

   图31 输入、输出参数
   
   

   1. 对于输入参数，打开“并发”开关，在启动作业时，每个参数可以设置多个参数值，自动生成多个作业并发执行。并发执行的作业数为设置的参数值个数的乘积。

      例如，存在输入参数a和输入参数b，在启动作业时，分别给参数a设置了2个参数值，给参数b设置了2个参数值。那么，系统将自动生成4个作业并发执行。

   2. 对于输出参数，如果镜像启动命令中指定了输出参数，则在设置输出参数时，需要勾选“必传”，并填写“默认值”。
      • 如果输出参数为String，默认值最大长度不超过256，仅支持字母、数字、中划线、下划线、小数点和斜线。
      • 如果输出参数为Enum类型，需填写有效值，并在有效值中选择默认值。
6. 填写资源参数。
   填写CPU、Memory大小（内存单位为GB），选择GPU类型。

   • CPU架构依赖于制作镜像过程中选择的系统类型，以及制作镜像时所需的生物信息学软件支持在X86还是ARM上运行。例如，GATK是基于X86指令集开发的生信软件，使用CentOS的X86系统创建GATK镜像，则在创建应用时选择“X86”。
   • CPU需求：请按实际需求填写，取值范围为“0.1-128”，单位C，支持一位小数，不填默认1C。
   • Memory需求：请按实际需求填写，取值范围为“0.1-3072”，单位GB，支持一位小数，不填默认1GB。
   • GPU类型：请按实际需求填写，取值范围为“无、GPU、Snt9”，如果选择Snt9，GPU需求需要是0、1、2、4、8。
   • 计算节点标签：请选择标签名称，不支持多选。应用将会调度到有相应节点标签的计算节点。计算节点标签设置方法请参见《用户指南》的计算资源标签管理章节。
   图32 资源参数
   
7. 单击“立即创建”，创建应用。

步骤六：搭建流程、运行作业

1. 单击“创建流程”，进入流程设计器页面。
   图33 创建流程
   
2. 将左侧应用列表中的应用，拖拽至画布中。
   图34 应用拖拽
   
3. 在画布右侧参数配置模块，单击按钮，进入参数设置页面，可查看修改参数。
   • 输入参数：由用户在创建应用时定义。
   • 输出路径：输出数据的存放路径，可修改。例如，gene-assets空间中的output文件夹，输出路径格式为/gene-assets/output。
   • 资源参数：CPU需求、Memory需求、GPU类型，请按照使用需求进行设置；CPU架构、计算节点标签，GPU需求不可修改。GPU包含NAIDIA架构GPU和自研的Snt9+ARM。选择GPU资源时，需要您在购买平台时包含了GPU资源，并且需要应用支持GPU运行。选择Snt9+ARM时，需要应用支持ARM环境运行，并在创建应用时，镜像系统为ARM类系统。
   

   运行分析作业时，流程中的每一个应用称之为一个任务（Task），在编排流程时，如果“输出路径”修改为空，实际作业输出结果依然默认存在该路径。最终输出结果路径按照如下规则生成：

   • 若使用的应用本身有配置输出参数，直接使用该路径。
   • 若使用的应用本身未配置输出参数，并且子任务（Task）的输出路径为空，最终输出路径为对应作业配置的输出路径。若作业也未配置，则系统会默认生成格式为job-流程名称-时间戳-随机后缀的输出路径，例如/job-workflowname-202501031644-1654。
   • 若使用的应用本身未配置输出参数，子任务（Task）的输出路径有配置，例如/task-output。那么会在上一项的基础上拼接上子任务的输出路径，例如/job-workflowname-202501031644-1654/task-output。
   图35 参数配置
   
4. 单击“下一步”，进入流程基础配置页面。
5. 在流程基础配置页面填写流程基础信息。

   包括“流程名称”、“版本”、“标签”、“短描述”、“长描述”和“超时时间”。

   图36 流程基础配置
   
   

   • “流程名称”和“版本”为必填项，其他参数可选填。
   • “超时时间”指作业运行时间超过设置时间时即为超时，默认7天，基于流程创建分析作业时，该参数可重新定义。
6. 单击“创建并启动作业”。

步骤七：获取分析结果

在“作业”列表中，可单击作业名称查看作业信息、输入输出数据等信息。

图37 作业列表