通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行，则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数，或参数值为“false

查看更多 →

，等待远程调试。 在IDE上，选择MapReduce任务的实现类，通过配置远程调试信息，执行Debug。 设置断点，双击蓝框区域设置或取消断点。 配置远程调试信息，“右键->Debug As->Debug Configurations...”。 在弹出的页面，双击“Remote Java

查看更多 →

任务管理”，单击页面的“创建普通任务”。 图1 创建普通任务 在创建任务页面中配置任务基本信息。 集成模式选择实时。 图2 创建任务 源端信息请选择MQS，指定为添加MQS数据源所创建的MQS。Topic使用创建MQS Topic所创topic。具体配置如下，解析路径参考图1 图3 源端信息 示例中DW

查看更多 →

配置构建任务 构建任务基础配置 选择构建步骤 配置构建步骤 配置构建任务参数 配置构建任务执行计划 配置构建任务角色权限 配置构建任务事件通知

查看更多 →

查询任务配置 功能介绍 查询任务配置 URI GET /v1/projects/{service_id}/service/config 表1 路径参数 参数 是否必选 参数类型 描述 service_id 是 String 服务id 表2 Query参数 参数 是否必选 参数类型

查看更多 →

设置定时任务 如果需要定时执行备份任务，需要使用Linux的crontab配置定时任务，定时调用脚本。执行脚本前请确保数据库备份已经完成，本脚本无法识别备份文件是否完整。 操作步骤 编辑crontab文件。 crontab -e 设置定时任务，时间请根据实际情况修改后保存并退出。

查看更多 →

任务相关配置 任务名称规则配置 任务基础属性配置 任务的扩展属性配置 任务场景配置 任务场景配置 周期任务调度规则配置 任务工单智能调度规则配置 如何配置任务匹配规则？ 如何查看智能调度看板-地图模式？ 任务执行人匹配规则配置 如何配置自动调度规则？ 任务报告配置 任务其他关联配置

查看更多 →

任务报告配置 任务生成规则配置 路径：任务管理->任务标准->报告模板 新建/编辑报告模板中，可以对报告生成规则进行配置，包括，是否自动生成报告，是否自动删除空白页签，图片的平铺模式。 图3.12-1 任务悬停信息展示 报告文档名称产生 路径：公共平台->业务配置->全局配置 根

查看更多 →

任务场景配置 任务场景配置 路径：公共平台->业务配置->全局配置 对任务场景的一些基本字段，进行配置，并生成可应用的任务场景。 1.任务场景基本配置 在任务场景列表页面，点击任务场景名称前面的编辑按钮，如下图，则可进入任务场景详细信息的配置维护界面。 图3.4-1 任务场景列表-维护详细信息

查看更多 →

配置翻译任务 使用说明 在经典版环境配置的“系统管理 > 国际化 > 翻译工作台”中，设置了应用支持的语种，并将语种的翻译任务指派给翻译人员。本节介绍翻译人员如何在AstroZero中完成翻译任务。翻译菜单用于翻译人员完成翻译任务，不同的翻译人员进入翻译菜单，所看到的翻译任务是不同的。

查看更多 →

在创建定时任务前，需要先开发实现定时任务功能的Script脚本，Script脚本的开发可参考脚本开发。 本章节介绍的是在应用内配置定时任务，也可以在管理中心下创建定时任务，相关操作请参考创建定时任务。两者的区别是在应用里配置的定时任务，可在打包发布应用时，将定时任务一起发布，在管理中心设置的定时任务无法随应用发布。

查看更多 →

要进行相应的规划设计，优化代码逻辑。 Spark任务跑的比较慢，cpu利用率低：检测室executor线程不能全部吃满，此时应减少每个executor的core数量，增加executor个数，同事增加partition个数。 任务容易出现内存溢出：部分数据分片较大，单个task处

查看更多 →

MapReduce任务commit阶段优化 操作场景 默认情况下，如果一个MR任务会产生大量的输出结果文件，那么该job在最后的commit阶段，会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中，大Job的commit过程会严重影响任务的性能表现。

查看更多 →

，等待远程调试。 在IDE上，选择MapReduce任务的实现类，通过配置远程调试信息，执行Debug。 设置断点，双击蓝框区域设置或取消断点。 配置远程调试信息，“右键->Debug As->Debug Configurations...”。 在弹出的页面，双击“Remote Java

查看更多 →

，等待远程调试。 在IDE上，选择MapReduce任务的实现类，通过配置远程调试信息，执行Debug。 设置断点，双击蓝框区域设置或取消断点。 配置远程调试信息，“右键->Debug As->Debug Configurations...”。 在弹出的页面，双击“Remote Java

查看更多 →

，等待远程调试。 在IDE上，选择MapReduce任务的实现类，通过配置远程调试信息，执行Debug。 设置断点，双击蓝框区域设置或取消断点。 配置远程调试信息，“右键->Debug As->Debug Configurations...”。 在弹出的页面，双击“Remote Java

查看更多 →

Yarn > 配置”，选择“全部配置”，在搜索框中输入参数名称“mapreduce.job.am.memory.policy”。 配置说明： 配置项的默认值为空，此时不会启动自动调整的策略，ApplicationMaster的内存仍受“yarn.app.mapreduce.am.resource

查看更多 →

配置MapReduce shuffle address 配置场景 当MapReduce shuffle服务启动时，它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务连接特定IP，可以参考该章节进行配置。 配置描述 当需要MapReduce shu

查看更多 →

通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行效率。例如：

查看更多 →

通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行效率。例如：

查看更多 →

MapReduce/Spark：以该组件进行执行时，MapReduce/Spark执行的情况直接引影响到Hive的性能，如每个任务的大小，任务与资源分配均匀度，任务拆分合理度等。 HDFS：最底层的IO读也是性能的关键，主要考虑的指标是读取和写入的性能，还包括块大小合理设置等。 其中MapReduce/Spark/H

查看更多 →