检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
950808 转 1
预约咨询
工单提交
我有建议
未实名认证
已实名认证
立即前往
立即购买
立即购买
立即前往
立即前往
Job管理 查询job状态 父主题: API
查看更多 →
删除Job 功能介绍 该API用于删除指定项目下的Job。 调用方法 请参见如何调用API。 URI DELETE /autopilot/v2/projects/{project_id}/jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
CDM Job 功能 通过CDM Job节点执行一个预先定义的CDM作业,实现数据迁移功能。该节点与 云数据迁移 (CDM)进行联动,把CDM作业在数据开发平台进行调度。此节点用于执行一个指定的CDM集群里面的一个作业。 如果CDM作业中配置了时间宏变量,通过DataArts Stu
ETL Job 功能 通过ETL Job节点可以从指定数据源中抽取数据,经过数据准备对数据预处理后,导入到目标数据源。 目标端是DWS的ETL Job节点,不支持使用委托进行调度,建议采用兼容性更佳的公共IAM账号方式进行调度,详见配置调度身份。 参数 用户可参考表1,表2和表3配置ETL
Sub Job 功能 通过Sub Job节点可以调用另外一个批处理作业。 参数 用户可参考表1和表2配置Sub Job节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
record); } } MapReduce任务定义,指定输入/输出类,Mapper/Recducer类,输入输出键值对格式; Job job = new Job(conf, "GroupByDemo"); HCatInputFormat.setInput(job, dbName, inputTableName);
数据调度 调度管理 调度管理为离线任务部署管理页面,所有离线订单的部署任务汇总调度维护。部署任务订单状态成功,失败,并可以查看历史调度和操作日志。 图1 调度管理-1 图2 调度管理-2 启动:任务状态为停止方可启动,默认置灰不可选 停止:运行状态才可以停止,默认置灰不可选 重新
用于统计CPU的一些调度信息,包括idle任务启动时间、idle任务运行时长、调度切次数等。OsShellStatisticsStart---调度统计功能开启函数。OsShellStatisticsStop---调度统计功能关闭函数。关闭后,会自动调用OsStatisticsShow输出调度统计信息。OsShellCmdDumpSched
调度策略 污点和容忍策略 负载亲和调度策略 节点亲和调度策略 父主题: 网关工作负载
任务调度 当前暂不支持。 如果需要用任务调度功能,请使用事件并打开event_scheduler,详情请参见事件管理。 父主题: 任务管理
资源利用率优化调度(Volcano调度器支持) AI任务性能增强调度(Volcano调度器支持) 异构资源调度(Volcano调度器支持) Volcano调度器(v1.27及以上集群版本支持) 设置Volcano调度器为默认调度器后,Volcano调度器将替换kube-schedu
NPU调度 NPU芯级独占调度 NPU拓扑感知调度 NPU虚拟化 NPU监控 父主题: 调度
执行如下命令,修改ilm的时间单位为秒。 这一步的操作主要是为了加快测试速度。ilm默认的时间单位为天,执行手动压缩时,第一次调度是打时间戳,第二次调度才能压缩,第一次调度和第二次调度的间隔需要超过冷热数据判定时间的阈值才会执行压缩,以秒为时间单位可以加快测试速度。 修改ilm的时间单位为秒。 BEGIN
HH:mm:ss")},表示任务调度时间。 图1 配置作业参数变量 配置读取Kafka任务。 将“消费记录策略”设置为“起止时间”,将“起始时间”设置为变量${startTime},“结束时间”设置为变量${endTime}。 图2 配置读取Kafka任务 配置调度策略。 将任务配置调度周期为【小时
DFS。 分解来看,Spark分成控制端(Driver)和执行端(Executor)。控制端负责任务调度,执行端负责任务执行。 读取文件的过程如图1所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示: Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。
血缘关系 【事件依赖】:查询作业流的事件依赖关系。 图13 依赖关系 调度任务管理 调度任务管理用于管理任务调度,支持调度任务的增删改及导入导出等功能。 图14 调度任务管理 【侧边导航】:以树状列表方式显示当前配置的调度任务,单击左侧目录节点,则在右侧功能区域显示任务查询列表。 【查
调度策略 如何让多个Pod均匀部署到各个节点上? 如何避免节点上的某个容器被驱逐? 为什么Pod在节点不是均匀分布? 如何驱逐节点上的所有Pod? 如何查看Pod是否使用CPU绑核? 节点关机后Pod不重新调度 如何避免非GPU/NPU负载调度到GPU/NPU节点? 为什么Pod调度不到某个节点上?
GPU调度 GPU调度概述 准备GPU资源 创建GPU应用 监控GPU资源 父主题: 管理本地集群
CPU调度 CPU管理策略 增强型CPU管理策略 父主题: 调度
联系我们
您找到想要的内容了吗?
意见反馈
0/200
提交 取消
mapreduce job
mapreduce读取hbase
mapreduce读取parquet
mapreduce hive读取
mapreduce setup 读取
mapreduce hdfs 读取
mapreduce读取redis
mapreduce读取xml
mapreduce 读取hdfs
mapreduce读取mysql