创建普通任务(Job)
操作场景
普通任务是一次性运行的短任务,部署完成后即可执行。正常退出(exit 0)后,任务即执行完成。
普通任务是用来控制批处理型任务的资源对象。批处理业务与长期伺服业务(Deployment、Statefulset)的主要区别是:
批处理业务的运行有头有尾,而长期伺服业务在用户不停止的情况下永远运行。Job管理的Pod根据用户的设置把任务成功完成就自动退出了。成功完成的标志根据不同的spec.completions策略而不同,即:
- 单Pod型任务有一个Pod成功就标志完成。
- 定数成功型任务保证有N个任务全部成功。
- 工作队列型任务根据应用确认的全局成功而标志成功。
前提条件
已创建资源,具体操作请参见创建节点。若已有集群和节点资源,无需重复操作。
通过控制台创建
- 登录CCE控制台。
- 单击集群名称进入集群,在左侧选择“工作负载”,在右上角单击“创建工作负载”。
- 配置工作负载的信息。
基本信息容器配置
- 容器信息
Pod中可以配置多个容器,您可以单击右侧“添加容器”为Pod配置多个容器。
- 基本信息:配置容器的基本信息。
参数
说明
容器名称
为容器命名。
更新策略
镜像更新/拉取策略。可以勾选“总是拉取镜像”,表示每次都从镜像仓库拉取镜像;如不勾选则优使用节点已有的镜像,如果没有这个镜像再从镜像仓库拉取。
镜像名称
单击后方“选择镜像”,选择容器使用的镜像。
如果需要使用第三方镜像,请参见使用第三方镜像。
镜像版本
选择需要部署的镜像版本。
CPU配额
- 申请:容器需要使用的最小CPU值,默认0.25Core。
- 限制:允许容器使用的CPU最大值,防止占用过多资源。
如不填写申请值和限制值,表示不限制配额。申请值和限制值的配置说明及建议请参见设置容器规格。
内存配额
- 申请:容器需要使用的内存最小值,默认512MiB。
- 限制:允许容器使用的内存最大值。如果超过,容器会被终止。
如不填写申请值和限制值,表示不限制配额。申请值和限制值的配置说明及建议请参见设置容器规格。
GPU配额(可选)
当集群中包含GPU节点时,才能设置GPU配额,且集群中需安装CCE AI套件(NVIDIA GPU)插件。
- 不限制:表示不使用GPU。
- 独享:单个容器独享GPU。
- 共享:容器需要使用的GPU百分比,例如设置为10%,表示该容器需使用GPU资源的10%。
关于如何在集群中使用GPU,请参见使用Kubernetes默认GPU调度。
NPU配额(可选)
使用NPU芯片(昇腾系列)的数量,必须为整数,且必须安装CCE AI套件(Ascend NPU)插件后才能使用。
关于如何在集群中使用NPU,请参见NPU调度。
特权容器(可选)
特权容器是指容器里面的程序具有一定的特权。
若选中,容器将获得超级权限,例如可以操作宿主机上面的网络设备、修改内核参数等。
初始化容器(可选)
选择容器是否作为初始化(Init)容器。初始化(Init)容器不支持设置健康检查。
Init容器是一种特殊容器,可以在Pod中的其他应用容器启动之前运行。每个Pod中可以包含多个容器,同时Pod中也可以有一个或多个先于应用容器启动的Init容器,当所有的Init 容器运行完成时,Pod中的应用容器才会启动并运行。详细说明请参见Init 容器。
- 生命周期(可选):在容器的生命周期的特定阶段配置需要执行的操作,例如启动命令、启动后处理和停止前处理,详情请参见设置容器生命周期。
- 环境变量(可选):支持通过键值对的形式为容器运行环境设置变量,可用于把外部信息传递给Pod中运行的容器,可以在应用部署后灵活修改,详情请参见设置环境变量。
- 数据存储(可选):在容器内挂载本地存储或云存储,不同类型的存储使用场景及挂载方式不同,详情请参见存储。
负载实例数大于1时,不支持挂载云硬盘类型的存储。
- 容器日志(可选):容器标准输出日志将默认上报至 AOM 服务,无需独立配置。您可以手动配置日志采集路径,详情请参见通过ICAgent采集容器日志。
如需要关闭当前负载的标准输出,您可在标签与注解中添加键为kubernetes.AOM.log.stdout,值为[]的注解,即可关闭当前负载下全部容器的标准输出。该注解的使用方法请参见表1。
- 基本信息:配置容器的基本信息。
- 镜像访问凭证:用于访问镜像仓库的凭证,默认取值为default-secret,使用default-secret可访问SWR镜像仓库的镜像。default-secret详细说明请参见default-secret。
- GPU显卡(可选):默认为不限制。当集群中存在GPU节点时,工作负载实例可以调度到指定GPU显卡类型的节点上。
高级配置(可选)- 标签与注解:以键值对形式为工作负载Pod添加标签或注解,填写完成后需单击“确认添加”。关于标签与注解的作用及配置说明,请参见设置标签与注解。
- 任务设置:
- 并行数:任务负载执行过程中允许同时创建的最大实例数,并行数应不大于实例数。
- 超时时间(秒):当任务执行超出该时间时,任务将会被标识为执行失败,任务下的所有实例都会被删除。为空时表示不设置超时时间。
- 完成模式:
- 非索引:当执行成功的Pod数达到实例数时, Job执行成功。Job中每一个Pod都是同质的,Pod之间是独立无关。
- 索引:系统会为每个Pod分配索引值,取值为 0 到实例数-1。每个分配了索引的Pod都执行成功,则Job执行成功。索引模式下,Job中的Pod命名遵循$(job-name)-$(index)模式。
- 挂起任务:默认任务创建后被立即执行。选择挂起任务后,任务创建后处于挂起状态;将其关闭后,任务继续执行。
- 网络配置:
- Pod入/出口带宽限速:支持为Pod设置入/出口带宽限速,详情请参见为Pod配置QoS。
- 容器信息
- 单击右下角“创建工作负载”。
使用kubectl创建Job
Job的关键配置参数如下所示:
- .spec.completions表示Job结束需要成功运行的Pod个数,默认为1。
- .spec.parallelism表示并行运行的Pod的个数,默认为1。
- .spec.backoffLimit表示失败Pod的最大重试次数,超过这个次数不会继续重试。
- .spec.activeDeadlineSeconds表示Pod运行时间,一旦达到这个时间,Job即其所有的Pod都会停止。且activeDeadlineSeconds优先级高于backoffLimit,即到达activeDeadlineSeconds的Job会忽略backoffLimit的设置。
根据.spec.completions和.spec.parallelism的设置,可以将Job划分为以下几种类型。
Job类型 |
说明 |
.spec.completions |
.spec.parallelism |
---|---|---|---|
一次性Job |
创建一个Pod直至其成功结束。 |
1 |
1 |
固定结束次数的Job |
依次创建一个Pod运行直至成功结束的Pod个数到达到.spec.completions的数值。 |
>1 |
1 |
固定结束次数的并行Job |
依次创建多个Pod运行直至成功结束的Pod个数到达到.spec.completions的数值。 |
>1 |
>1 |
带工作队列的并行Job |
创建一个或多个Pod,从工作队列中取走对应的任务并处理,完成后将任务从队列中删除后退出,详情请参见使用工作队列进行精细的并行处理。 |
不填写 |
>1或=1 |
以下是一个Job配置示例,保存在myjob.yaml中,其计算π到2000位并打印输出。
apiVersion: batch/v1 kind: Job metadata: name: myjob spec: completions: 50 # Job结束需要运行50个Pod,这个示例中就是打印π 50次 parallelism: 5 # 并行5个Pod backoffLimit: 5 # 最多重试5次 template: spec: containers: - name: pi image: perl command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(2000)"] restartPolicy: Never # 对于Job,只能设置为Never或者OnFailure。对于其他controller(比如Deployment)可以设置为Always imagePullSecrets: - name: default-secret
运行该任务,如下:
- 启动这个Job。
[root@k8s-master k8s]# kubectl apply -f myjob.yaml job.batch/myjob created
- 查看这个Job。
kubectl get job
[root@k8s-master k8s]# kubectl get job NAME COMPLETIONS DURATION AGE myjob 50/50 23s 3m45s
COMPLETIONS为 50/50 表示成功运行了这个Job。
- 查看Pod的状态。
kubectl get pod
[root@k8s-master k8s]# kubectl get pod NAME READY STATUS RESTARTS AGE myjob-29qlw 0/1 Completed 0 4m5s ...
状态为Completed表示这个job已经运行完成。
- 查看这个Pod的日志。
kubectl logs <pod_name>
# kubectl logs myjob-29qlw 3.1415926535897932384626433832795028841971693993751058209749445923078164062862089986280348253421170679821480865132823066470938446095505822317253594081284811174502841027019385211055596446229489549303819644288109756659334461284756482337867831652712019091456485669234603486104543266482133936072602491412737245870066063155881748815209209628292540917153643678925903600113305305488204665213841469519415116094330572703657595919530921861173819326117931051185480744623799627495673518857527248912279381830119491298336733624406566430860213949463952247371907021798609437027705392171762931767523846748184676694051320005681271452635608277857713427577896091736371787214684409012249534301465495853710507922796892589235420199561121290219608640344181598136297747713099605187072113499999983729780499510597317328160963185950244594553469083026425223082533446850352619311881710100031378387528865875332083814206171776691473035982534904287554687311595628638823537875937519577818577805321712268066130019278766111959092164201989380952572010654858632788659361533818279682303019520353018529689957736225994138912497217752834791315155748572424541506959508295331168617278558890750983817546374649393192550604009277016711390098488240128583616035637076601047101819429555961989467678374494482553797747268471040475346462080466842590694912933136770289891521047521620569660240580381501935112533824300355876402474964732639141992726042699227967823547816360093417216412199245863150302861829745557067498385054945885869269956909272107975093029553211653449872027559602364806654991198818347977535663698074265425278625518184175746728909777727938000816470600161452491921732172147723501414419735685481613611573525521334757418494684385233239073941433345477624168625189835694855620992192221842725502542568876717904946016534668049886272327917860857843838279679766814541009538837863609506800642251252051173929848960841284886269456042419652850222106611863067442786220391949450471237137869609563643719172874677646575739624138908658326459958133904780275901
相关操作
普通任务创建完成后,您还可执行表2中操作。