更新时间:2024-10-14 GMT+08:00

创建普通任务(Job)

操作场景

普通任务是一次性运行的短任务,部署完成后即可执行。正常退出(exit 0)后,任务即执行完成。

普通任务是用来控制批处理型任务的资源对象。批处理业务与长期伺服业务(Deployment、Statefulset)的主要区别是:

批处理业务的运行有头有尾,而长期伺服业务在用户不停止的情况下永远运行。Job管理的Pod根据用户的设置把任务成功完成就自动退出了。成功完成的标志根据不同的spec.completions策略而不同,即:

  • 单Pod型任务有一个Pod成功就标志完成。
  • 定数成功型任务保证有N个任务全部成功。
  • 工作队列型任务根据应用确认的全局成功而标志成功。

前提条件

已创建资源,具体操作请参见创建节点。若已有集群节点资源,无需重复操作。

通过控制台创建

  1. 登录CCE控制台。
  2. 单击集群名称进入集群,在左侧选择“工作负载”,在右上角单击“创建工作负载”
  3. 配置工作负载的信息。

    基本信息
    • 负载类型:选择任务Job。工作负载类型的介绍请参见工作负载概述
    • 负载名称:填写工作负载的名称。请输入1到63个字符的字符串,可以包含小写英文字母、数字和中划线(-),并以小写英文字母开头,小写英文字母或数字结尾。
    • 命名空间:选择工作负载的命名空间,默认为default。您可以单击后面的“创建命名空间”,命名空间的详细介绍请参见创建命名空间
    • 实例数量:填写实例的数量,即工作负载Pod的数量。
    容器配置
    • 容器信息
      Pod中可以配置多个容器,您可以单击右侧“添加容器”为Pod配置多个容器。
      • 基本信息:配置容器的基本信息。

        参数

        说明

        容器名称

        为容器命名。

        更新策略

        镜像更新/拉取策略。可以勾选“总是拉取镜像”,表示每次都从镜像仓库拉取镜像;如不勾选则优使用节点已有的镜像,如果没有这个镜像再从镜像仓库拉取。

        镜像名称

        单击后方“选择镜像”,选择容器使用的镜像。

        如果需要使用第三方镜像,请参见使用第三方镜像

        镜像版本

        选择需要部署的镜像版本。

        CPU配额

        • 申请:容器需要使用的最小CPU值,默认0.25Core。
        • 限制:允许容器使用的CPU最大值,防止占用过多资源。

        如不填写申请值和限制值,表示不限制配额。申请值和限制值的配置说明及建议请参见设置容器规格

        内存配额

        • 申请:容器需要使用的内存最小值,默认512MiB。
        • 限制:允许容器使用的内存最大值。如果超过,容器会被终止。

        如不填写申请值和限制值,表示不限制配额。申请值和限制值的配置说明及建议请参见设置容器规格

        GPU配额(可选)

        当集群中包含GPU节点时,才能设置GPU配额,且集群中需安装CCE AI套件(NVIDIA GPU)插件。

        • 不限制:表示不使用GPU。
        • 独享:单个容器独享GPU。
        • 共享:容器需要使用的GPU百分比,例如设置为10%,表示该容器需使用GPU资源的10%。

        关于如何在集群中使用GPU,请参见使用Kubernetes默认GPU调度

        NPU配额(可选)

        使用NPU芯片(昇腾系列)的数量,必须为整数,且必须安装CCE AI套件(Ascend NPU)插件后才能使用。

        关于如何在集群中使用NPU,请参见NPU调度

        特权容器(可选)

        特权容器是指容器里面的程序具有一定的特权。

        若选中,容器将获得超级权限,例如可以操作宿主机上面的网络设备、修改内核参数等。

        初始化容器(可选)

        选择容器是否作为初始化(Init)容器。初始化(Init)容器不支持设置健康检查。

        Init容器是一种特殊容器,可以在Pod中的其他应用容器启动之前运行。每个Pod中可以包含多个容器,同时Pod中也可以有一个或多个先于应用容器启动的Init容器,当所有的Init 容器运行完成时,Pod中的应用容器才会启动并运行。详细说明请参见Init 容器

      • 生命周期(可选):在容器的生命周期的特定阶段配置需要执行的操作,例如启动命令、启动后处理和停止前处理,详情请参见设置容器生命周期
      • 环境变量(可选):支持通过键值对的形式为容器运行环境设置变量,可用于把外部信息传递给Pod中运行的容器,可以在应用部署后灵活修改,详情请参见设置环境变量
      • 数据存储(可选):在容器内挂载本地存储或云存储,不同类型的存储使用场景及挂载方式不同,详情请参见存储

        负载实例数大于1时,不支持挂载云硬盘类型的存储。

      • 容器日志(可选):容器标准输出日志将默认上报至 AOM 服务,无需独立配置。您可以手动配置日志采集路径,详情请参见通过ICAgent采集容器日志

        如需要关闭当前负载的标准输出,您可在标签与注解中添加键为kubernetes.AOM.log.stdout,值为[]的注解,即可关闭当前负载下全部容器的标准输出。该注解的使用方法请参见表1

    • 镜像访问凭证:用于访问镜像仓库的凭证,默认取值为default-secret,使用default-secret可访问SWR镜像仓库的镜像。default-secret详细说明请参见default-secret
    • GPU显卡(可选):默认为不限制。当集群中存在GPU节点时,工作负载实例可以调度到指定GPU显卡类型的节点上。
    高级配置(可选)
    • 标签与注解:以键值对形式为工作负载Pod添加标签或注解,填写完成后需单击“确认添加”。关于标签与注解的作用及配置说明,请参见设置标签与注解
    • 任务设置:
      • 并行数:任务负载执行过程中允许同时创建的最大实例数,并行数应不大于实例数。
      • 超时时间(秒):当任务执行超出该时间时,任务将会被标识为执行失败,任务下的所有实例都会被删除。为空时表示不设置超时时间。
      • 完成模式:
        • 非索引:当执行成功的Pod数达到实例数时, Job执行成功。Job中每一个Pod都是同质的,Pod之间是独立无关。
        • 索引:系统会为每个Pod分配索引值,取值为 0 到实例数-1。每个分配了索引的Pod都执行成功,则Job执行成功。索引模式下,Job中的Pod命名遵循$(job-name)-$(index)模式。
      • 挂起任务:默认任务创建后被立即执行。选择挂起任务后,任务创建后处于挂起状态;将其关闭后,任务继续执行。
    • 网络配置:
      • Pod入/出口带宽限速:支持为Pod设置入/出口带宽限速,详情请参见为Pod配置QoS

  4. 单击右下角“创建工作负载”

使用kubectl创建Job

Job的关键配置参数如下所示:

  • .spec.completions表示Job结束需要成功运行的Pod个数,默认为1。
  • .spec.parallelism表示并行运行的Pod的个数,默认为1。
  • .spec.backoffLimit表示失败Pod的最大重试次数,超过这个次数不会继续重试。
  • .spec.activeDeadlineSeconds表示Pod运行时间,一旦达到这个时间,Job即其所有的Pod都会停止。且activeDeadlineSeconds优先级高于backoffLimit,即到达activeDeadlineSeconds的Job会忽略backoffLimit的设置。

根据.spec.completions和.spec.parallelism的设置,可以将Job划分为以下几种类型。

表1 任务类型

Job类型

说明

.spec.completions

.spec.parallelism

一次性Job

创建一个Pod直至其成功结束。

1

1

固定结束次数的Job

依次创建一个Pod运行直至成功结束的Pod个数到达到.spec.completions的数值。

>1

1

固定结束次数的并行Job

依次创建多个Pod运行直至成功结束的Pod个数到达到.spec.completions的数值。

>1

>1

带工作队列的并行Job

创建一个或多个Pod,从工作队列中取走对应的任务并处理,完成后将任务从队列中删除后退出,详情请参见使用工作队列进行精细的并行处理

不填写

>1或=1

以下是一个Job配置示例,保存在myjob.yaml中,其计算π到2000位并打印输出。

apiVersion: batch/v1
kind: Job
metadata:
  name: myjob
spec:
  completions: 50        # Job结束需要运行50个Pod,这个示例中就是打印π 50次
  parallelism: 5        # 并行5个Pod
  backoffLimit: 5        # 最多重试5次
  template:
    spec:
      containers:
      - name: pi
        image: perl
        command: ["perl",  "-Mbignum=bpi", "-wle", "print bpi(2000)"]
      restartPolicy: Never     # 对于Job,只能设置为Never或者OnFailure。对于其他controller(比如Deployment)可以设置为Always
      imagePullSecrets:
        - name: default-secret

运行该任务,如下:

  1. 启动这个Job。

    [root@k8s-master k8s]# kubectl apply -f myjob.yaml
    job.batch/myjob created

  2. 查看这个Job。

    kubectl get job

    [root@k8s-master k8s]# kubectl get job
    NAME    COMPLETIONS   DURATION   AGE
    myjob   50/50         23s        3m45s

    COMPLETIONS为 50/50 表示成功运行了这个Job。

  3. 查看Pod的状态。

    kubectl get pod

    [root@k8s-master k8s]# kubectl get pod
    NAME          READY   STATUS      RESTARTS   AGE
    myjob-29qlw   0/1     Completed   0          4m5s
    ...

    状态为Completed表示这个job已经运行完成。

  4. 查看这个Pod的日志。

    kubectl logs <pod_name>

    # kubectl logs myjob-29qlw
    3.1415926535897932384626433832795028841971693993751058209749445923078164062862089986280348253421170679821480865132823066470938446095505822317253594081284811174502841027019385211055596446229489549303819644288109756659334461284756482337867831652712019091456485669234603486104543266482133936072602491412737245870066063155881748815209209628292540917153643678925903600113305305488204665213841469519415116094330572703657595919530921861173819326117931051185480744623799627495673518857527248912279381830119491298336733624406566430860213949463952247371907021798609437027705392171762931767523846748184676694051320005681271452635608277857713427577896091736371787214684409012249534301465495853710507922796892589235420199561121290219608640344181598136297747713099605187072113499999983729780499510597317328160963185950244594553469083026425223082533446850352619311881710100031378387528865875332083814206171776691473035982534904287554687311595628638823537875937519577818577805321712268066130019278766111959092164201989380952572010654858632788659361533818279682303019520353018529689957736225994138912497217752834791315155748572424541506959508295331168617278558890750983817546374649393192550604009277016711390098488240128583616035637076601047101819429555961989467678374494482553797747268471040475346462080466842590694912933136770289891521047521620569660240580381501935112533824300355876402474964732639141992726042699227967823547816360093417216412199245863150302861829745557067498385054945885869269956909272107975093029553211653449872027559602364806654991198818347977535663698074265425278625518184175746728909777727938000816470600161452491921732172147723501414419735685481613611573525521334757418494684385233239073941433345477624168625189835694855620992192221842725502542568876717904946016534668049886272327917860857843838279679766814541009538837863609506800642251252051173929848960841284886269456042419652850222106611863067442786220391949450471237137869609563643719172874677646575739624138908658326459958133904780275901

相关操作

普通任务创建完成后,您还可执行表2中操作。

表2 其他操作

操作

操作说明

编辑YAML

单击任务名称后的“更多 > 编辑YAML”,可编辑当前任务对应的YAML文件。

删除普通任务

  1. 选择待删除的任务,单击操作列的“更多 > 删除”
  2. 单击“是”。

    任务删除后将无法恢复,请谨慎操作。