Yarn与其他组件的关系 Yarn和Spark组件的关系 Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。 Yarn

查看更多 →

计划调度管理 生产计划管理 功能概述：该模块主要是对生产计划进行管理，包含的功能有新增生产计划、编辑生产计划、终止生产计划、对生产计划执行完工操作，分解生产计划以及对分解的计划进行发布、删除操作。 操作人员：系统管理人员。 路径：计划调度→生产计划 。 图1 生产计划管理 生产订单管理

查看更多 →

”。 恢复Reader：勾选已暂停的调度任务，单击“恢复Reader”。 如需恢复已暂停的全部的调度任务，单击“恢复全部Reader”。 挂起/取消挂起 挂起：周期任务无须手动挂起，当设置默认入图调度数据量阈值后，如果超过阈值则调度Reader挂起不再执行。 说明： 挂起阈值为500万。

查看更多 →

在配置依赖关系时，支持配置同周期的依赖和上一周期的依赖。 同周期依赖的原理，详情参考自然周期调度之同周期依赖原理。 上一周期依赖的原理，详情参考自然周期调度之上一周期依赖原理。 当分钟的调度周期不能被小时整除时，周期调度就不是严格按照间隔周期去跑，而是按照cron表达式的规则，每个小时的零点触发去跑，再往后推间隔。

查看更多 →

ht总和的比例来给队列划分资源；另外也可以为队列设置资源的Capability值，来确定该队列能够使用的资源上限。 例如下图中，通过这两个队列去共享整个集群的资源，一个队列获得40%的资源，另一个队列获得60%的资源，这样可以把两个不同的队列映射到不同的部门或者是不同的项目中。并

查看更多 →

实例调度任务 创建实例调度任务 查看实例调度任务 父主题： xDM-F数据同步

查看更多 →

Integer 调度计划的执行间隔时间周期。 最小值：1 最大值：59 created_date Integer 调度计划的创建时间。 最小值：1 最大值：99999999999999999 last_modified_date Integer 调度计划最近一次的修改时间。 最小值：1

查看更多 →

当前作业A调度周期的自然起点) 时间区间内检查是否有作业B的实例运行，只有在此期间作业B的实例运行完成才会运行作业A。 调度周期的自然起点定义如下： 调度周期为小时：上一调度周期的自然起点为上一小时的零分零秒，当前调度周期的自然起点为当前小时的零分零秒。 调度周期为天：上一调度周期的自然

查看更多 →

配置调度身份 数据开发模块的作业执行中会遇到如下问题： 数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业，当启动该作业的IAM账号在调度周期内被停用或删除后，系统无法获取用户身份认证信息，导致作业执行失败。 如果作业被低权限的用户启动，也会因为权限不足导致作业执行失败。

查看更多 →

nothing”的调度需求，避免Pod的任意调度导致集群资源的浪费。具体算法是，观察Job下的Pod已调度数量是否满足了最小运行数量，当Job的最小运行数量得到满足时，为Job下的所有Pod执行调度动作，否则，不执行。 基于容器组概念的Gang调度算法十分适合需要多进程协作的场景。AI场景往往包含复杂的流程，Data

查看更多 →

其所申请资源的Request/Limit差异很大，这直接导致了集群负载不均的问题： 集群中的部分节点，资源的真实使用率远低于资源申请值的分配率，却没有被调度更多的Pod，这造成了比较大的资源浪费。 集群中的另外一些节点，其资源的真实使用率事实上已经过载，却无法为调度器所感知到，这极大可能影响到业务的稳定性。

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

使用Capacity调度器的租户业务 创建租户 管理租户 管理资源 父主题： 租户资源

查看更多 →

获取IAM用户Token接口获取，接口返回的响应消息头中“X-Subject-Token”就是需要获取的用户Token。简要的获取方法样例请参见 Token认证。 最小长度：0 最大长度：20000 表3 请求Body参数 参数 是否必选 参数类型 描述 schedule_id 否 String 调度计划id，租户下唯一，选填如不填则随机生成

查看更多 →

bject-Token”就是需要获取的用户Token。简要的获取方法样例请参见 Token认证。 最小长度：0 最大长度：20000 响应参数 无 请求示例 DELETE https://{endpoint}/v2/{project_id}/edge-nodes/{edge_no

查看更多 →

调度计划管理 创建调度计划 更新调度计划，机机接口，全量更新字段 删除调度计划 父主题： API列表

查看更多 →

默认展示当前应用租户下所有数据入图任务的调度任务。如有需要，您还可： 筛选任务：在“条件筛选”处输入或选择常用查询条件，或展开“高级搜索”选择更多查询条件，单击“搜索”，任务列表显示满足条件筛选的数据。 更改排序：单击表头各参数后的，列表按对应参数升序或降序排列。 查看调度任务执行详情：单击具体任务的“操作”

查看更多 →

Integer 调度计划的执行间隔时间周期。 最小值：1 最大值：59 created_date Integer 调度计划的创建时间。 最小值：1 最大值：99999999999999999 last_modified_date Integer 调度计划最近一次的修改时间。 最小值：1

查看更多 →

运维调度 运维概览 作业监控 实例监控 补数据监控 通知管理 备份管理 操作历史 父主题： 数据开发

查看更多 →

通过统计业务伸缩的规律，将有相近生命周期的Pod优先调度到同一节点，配合autoscaler的水平扩缩容能力，快速缩容释放资源，节约成本并提高资源利用率。 1. 统计业务负载中Pod的生命周期，将有相近生命周期的Pod调度到同一节点 2. 对配置了自动扩缩容策略的集群，通过调整节点的缩容注解，优先缩容使用率低的节点

查看更多 →

Scheduler工作流 Volcano Scheduler的工作流程如下： 客户端提交的Job被调度器识别到并缓存起来。 周期性开启会话，一个调度周期开始。 将没有被调度的Job发送到会话的待调度队列中。 遍历所有的待调度Job，按照定义的次序依次执行enqueue、allocate、pr

查看更多 →