运行MapReduce作业 用户可将自己开发的程序提交到 MRS 中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个MapReduce作业。 MapReduce作业用于提交Hadoop jar程序快速并行处理大量数据，是一种分布式数据处理模式。 用户可以在MRS管理控制台

查看更多 →

准备MapReduce应用运行环境 MapReduce的运行环境可以部署在Linux环境下。您可以按照如下操作完成运行环境准备。 操作步骤 确认服务端YARN组件和MapReduce组件已经安装，并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 客户端机器的时间与H

查看更多 →

编译并运行MapReduce应用 在程序代码完成开发后，可以在Linux环境中运行应用。 MapReduce应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。 操作步骤 生成MapReduce应用可执行包。 执行mvn package生成jar包，在工程目录

查看更多 →

JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境基本配置，用于项目管理，贯穿软件开发生命周期。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客

查看更多 →

JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境基本配置，用于项目管理，贯穿软件开发生命周期。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客

查看更多 →

JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境基本配置。用于项目管理，贯穿软件开发生命周期。 安装JDK 开发和运行环境的基本配置，版本要求如下： 服务端和客

查看更多 →

如何使用MapReduce命令 命令含义 对大数据集执行map-reduce操作。 如何启用MapReduce命令 MapReduce命令由DDS参数模板参数“security.javascriptEnabled”控制，默认值为“false”，表示mapreduce和group命

查看更多 →

平台运行维护软件部署 服务分布 服务部署 父主题： 实施步骤

查看更多 →

完成授权配置，再单击下一步进行部署。 图8 部署 图9 已完成 部署完成后，用户可以在AppCube中查看到部署的资产。 开发环境：在AppCube首页的“库”页签中查看到部署的资产。 沙箱环境和生产环境：在AppCube“管理 > 应用管理 > 软件包安装”中查看到部署的资产。

查看更多 →

如何自动部署应用？ 为了使伸缩组自动加入的实例自动部署应用，您需要创建私有镜像，确保该镜像上有应用的程序软件和开机自启动设置。为伸缩组选择镜像类型为您的私有镜像的伸缩配置，新实例加入伸缩组后，就可以实现自动部署应用。详细的操作步骤指导如下： 在创建私有镜像前，您需要在源 云服务器 中

查看更多 →

多个NameService环境下运行MapReduce任务失败 问题 多个NameService环境下，运行使用viewFS功能的MapReduce或YARN任务失败。 回答 当使用viewFS时，只有在viewFS中挂载的目录才能被访问到。所以最可能的原因是配置的路径没有在viewFS的挂载点上。例如：

查看更多 →

保存成功后，单击页面上方的，运行服务编排。 在弹出的输入参数页面进行配置，单击“运行”。 如果有输入参数，请输入参数后，再单击“运行”。如果该服务编排没有输入参数，可直接单击“运行”。 表1 基本信息参数说明 参数 参数说明 请求头参数 请求消息头的参数配置，“键”为参数名，“值”为参数取值。

查看更多 →

运行环境如何安装Python包？ Python运行环境已安装常用的python包。如果没有，可通过如下步骤安装： 本机下载pip包。 将pip包上传至OBS。 在代码中下载OBS中pip包。 pip本地安装。 import os os.system('pip install pacakge')

查看更多 →

多个NameService环境下运行MapReduce任务失败 问题 多个NameService环境下，运行使用viewFS功能的MapReduce或YARN任务失败。 回答 当使用viewFS时，只有在viewFS中挂载的目录才能被访问到。所以最可能的原因是配置的路径没有在viewFS的挂载点上。例如：

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

SQL作业运行慢如何定位 作业运行慢可以通过以下步骤进行排查处理。 可能原因1：FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致： 登录 DLI 控制台，单击“作业管理 > SQL作业”。 在SQL作业页面，在对应作业的“操作”列，单击“更多 > 归档日志”。

查看更多 →

降低MapReduce客户端运行任务失败率 配置场景 当网络不稳定或者集群IO、CPU负载过高的情况下，通过调整如下参数值，降低客户端应用的失败率，保证应用的正常运行。 配置描述 在客户端的“mapred-site.xml”配置文件中调整如下参数。 “mapred-site.xm

查看更多 →

如何新建部署架构？ 部署架构主要为技术架构的服务配置清单，在设计中心添加技术架构后，点击技术架构名称右侧的【操作】按钮，选择【新建】按钮即可新建部署架构。一个技术架构下可新建多个部署架构。 图1 新建部署架构 父主题： 设计中心

查看更多 →

如何回滚部署版本？ 问题描述 在实际开发场景中，经常需要将环境回滚、还原到某个历史版本，如何在部署服务中实现回滚操作。 处理思路 在应用的部署记录中，选择重新部署所需版本的应用即可。 操作步骤 在应用列表中选择目标应用，单击应用名称，进入应用部署记录。 在部署记录中选择需要重新部

查看更多 →

如何检查device是否正常运行 以root用户登录运行环境，查询软件包安装路径。 cat /etc/ascend_install.info 系统显示示例如下： Driver_Install_Path_Param=/usr/local/Ascend 进入Driver安装路径，通过

查看更多 →