文档首页 > > CLI参考> gcs 命令详情> gcs sub repjob

gcs sub repjob

分享
更新时间: 2019/10/28 GMT+08:00

功能

提交一组并行的 shell 脚本,作为多个 job 在后台执行。该命令执行的功能示意如下:

语法

gcs sub repjob FILENAME [params]

rejob可以简写为rjb,即:

gcs sub rjb FILENAME [params]

参数说明

表1 参数说明

参数名称

是否必选

简写

描述

FILENAME

不涉及

执行job的脚本文件路径。

如果是cci环境,该脚本内的使用到的其他脚本需要上传到sfs上,这些脚本需要以sfs上的绝对路径的形式引用。

--cpu

-c

所需CPU核数,单位为C。此处填写“数字”,数字支持小数,默认值为“1”。

须知:

请确保请求CPU核数,小于容器集群中最大节点剩余核数大小。

--memory

-m

所需内存资源大小,单位为G。此处填写“数字+单位”,默认值为“1G”。

  • 数字支持小数。
  • 单位为G或是g。

例如,需要内存大小为4G,则此处可填写为“4G”或是“4g”。

须知:

请确保请求内存量,小于容器集群中最大节点剩余内存大小。

--shell

-s

job 使用的 linux 脚本 shell 环境,如 sh / bash /zsh。 默认值为“sh”。

--tool

-l

job 使用的工具。工具支持公有或者私有docker 镜像,为简化使用,基因容器服务工具仓库集成了常见镜像,读者可以直接使用。

默认使用 “bwa:0.7.12”,安装了 bwa 0.7.12。

--name

-n

对此 job 指定名称。

--timeout

-t

execution超时时间单位分钟,默认一天(1440分钟)。

--obs-path

-o

支持多盘挂载,通过逗号分隔。

--obs-path mountPath1:pvcName1,mountPath2:pvcName2

mountPath 是容器内的挂载路径。

PvcName 是对应的pvc名称。

--sfs-path

-f

支持多盘挂载。

--obs-path mountPath1:pvcName1,mountPath2:pvcName2

mountPath 是容器内的挂载路径。

PvcName 是对应的pvc名称。

--ref-path

-r

支持多盘挂载。

--obs-path mountPath1:pvcName1,mountPath2:pvcName2

mountPath 是容器内的挂载路径。

PvcName 是对应的pvc名称。

注意事项

  • 提交多个并行 shell 脚本具体格式如下:
    首先准备需要并行的单一脚本 bwa_mem.sh,对 fastq 原始文件,执行 bwa mem 命令,进行基因序列比对。
    # cat bwa_mem.sh 
    fastq=$1
    ref=$2
    
    bwa mem $ref $fastq

    然后准备调用单一脚本的并行脚本 bwa_mem_work.sh。其中,bwa_mem.sh 可以是相对路径,要求与 bwa_mem_work.sh 在同一路径下,也可以是绝对路径。目标是分别对R1.fq.gz R2.fq.gz两个文件执行 bwa_mem.sh 脚本:

    # cat bwa_mem_work.sh 
    sh  bwa_mem.sh /obs/R1.fq.gz /ref/reference_files/hg19.fa >/obs/R1.sam
    sh  /root/go/src/kubegene/cli/bin/bwa_mem.sh /obs/R2.fq.gz /ref/reference_files/hg19.fa >/obs/R2.sam
    
    # 提交并执行该文件
    gcs sub repjob --cpu 1 --memory 8g --tool bwa:0.7.12 --shell sh bwa_mem_work.sh

    其中,如果使用测试数据,请下载如下两个数据,并上传至OBS桶内的 sample目录。下载地址为:

  • Tools 如果希望调用基因容器服务工具仓库,请在 https://console.huaweicloud.com/gcs/?region=cn-north-1#/app/tools/list,选择需要的软件。软件名称、版本,按照 [软件名称:软件版本] 格式填写即可,如 bwa:0.7.12 / zsplit:0.2 / gatk:4.0.2.0 详见下图:

  • 如果工具仓库没有需要的软件,可以搜索 Dockerhub 镜像仓库,直接使用 Dockerhub 中装有该软件的镜像,也可以自行构建该软件镜像,上传至私有仓库中。详见下图:

使用示例

提交 bwa_mem_work.sh,执行 bwa 比对任务。

# cat bwa_mem_work.sh 
sh  bwa_mem.sh /obs/sample/R1.fq.gz /obs/reference/hg19.fa >/obs/R1.sam
sh  /root/go/src/kubegene/cli/bin/bwa_mem.sh /obs/sample/R2.fq.gz /obs/reference/hg19.fa >/obs/R2.sam

示例执行结果在OBS 桶中,R1.sam、R2.sam 文件,如下所示。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区