运行MapReduce作业 用户可将自己开发的程序提交到 MRS 中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个MapReduce作业。 MapReduce作业用于提交Hadoop jar程序快速并行处理大量数据，是一种分布式数据处理模式。 用户可以在MRS管理控制台

查看更多 →

编译并运行MapReduce应用 在程序代码完成开发后，可以在Linux环境中运行应用。 MapReduce应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。 操作步骤 生成MapReduce应用可执行包。 执行mvn package生成jar包，在工程目录

查看更多 →

准备MapReduce应用运行环境 MapReduce的运行环境可以部署在Linux环境下。您可以按照如下操作完成运行环境准备。 操作步骤 确认服务端YARN组件和MapReduce组件已经安装，并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 客户端机器的时间与H

查看更多 →

JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境基本配置，用于项目管理，贯穿软件开发生命周期。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客

查看更多 →

JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境基本配置。用于项目管理，贯穿软件开发生命周期。 安装JDK 开发和运行环境的基本配置，版本要求如下： 服务端和客

查看更多 →

JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境基本配置，用于项目管理，贯穿软件开发生命周期。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客

查看更多 →

如何使用MapReduce命令 命令含义 对大数据集执行map-reduce操作。 如何启用MapReduce命令 MapReduce命令由DDS参数模板参数“security.javascriptEnabled”控制，默认值为“false”，表示mapreduce和group命

查看更多 →

平台运行维护软件部署 服务分布 服务部署 父主题： 实施步骤

查看更多 →

完成授权配置，再单击下一步进行部署。 图8 部署 图9 已完成 部署完成后，用户可以在AppCube中查看到部署的资产。 开发环境：在AppCube首页的“库”页签中查看到部署的资产。 沙箱环境和生产环境：在AppCube“管理 > 应用管理 > 软件包安装”中查看到部署的资产。

查看更多 →

如何自动部署应用？ 为了使伸缩组自动加入的实例自动部署应用，您需要创建私有镜像，确保该镜像上有应用的程序软件和开机自启动设置。为伸缩组选择镜像类型为您的私有镜像的伸缩配置，新实例加入伸缩组后，就可以实现自动部署应用。详细的操作步骤指导如下： 在创建私有镜像前，您需要在源 云服务器 中

查看更多 →

保存成功后，单击页面上方的，运行服务编排。 在弹出的输入参数页面进行配置，单击“运行”。 如果有输入参数，请输入参数后，再单击“运行”。如果该服务编排没有输入参数，可直接单击“运行”。 表1 基本信息参数说明 参数 参数说明 请求头参数 请求消息头的参数配置，“键”为参数名，“值”为参数取值。

查看更多 →

定制运行时方式部署 支持使用定制运行时方式部署 GPU 函数。 定制运行时详见定制运行时语言 定制运行时部署方式内置 python(Python 2.7.15)、python3(Python 3.6.8)、python3.7(Python 3.7.4)、python3.9(Python

查看更多 →

运行环境如何安装Python包？ Python运行环境已安装常用的python包。如果没有，可通过如下步骤安装： 本机下载pip包。 将pip包上传至OBS。 在代码中下载OBS中pip包。 pip本地安装。 import os os.system('pip install pacakge')

查看更多 →

部署数据建模引擎运行SDK 资源规划（数据建模引擎运行SDK） 资源配置说明（数据建模引擎运行SDK） 方式1：在本地通用 服务器 中部署数据建模引擎运行SDK 方式2：在已有项目中部署数据建模引擎运行SDK 父主题： 将xDM-F SDK部署至本地通用服务器

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

多个NameService环境下运行MapReduce任务失败 问题 多个NameService环境下，运行使用viewFS功能的MapReduce或YARN任务失败。 回答 当使用viewFS时，只有在viewFS中挂载的目录才能被访问到。所以最可能的原因是配置的路径没有在viewFS的挂载点上。例如：

查看更多 →

如何新建部署架构？ 部署架构主要为技术架构的服务配置清单，在设计中心添加技术架构后，点击技术架构名称右侧的【操作】按钮，选择【新建】按钮即可新建部署架构。一个技术架构下可新建多个部署架构。 图1 新建部署架构 父主题： 设计中心

查看更多 →

如何回滚部署版本？ 问题描述 在实际开发场景中，经常需要将环境回滚、还原到某个历史版本，如何在部署服务中实现回滚操作。 处理思路 在应用的部署记录中，选择重新部署所需版本的应用即可。 操作步骤 在应用列表中选择目标应用，单击应用名称，进入应用部署记录。 在部署记录中选择需要重新部

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

多个NameService环境下运行MapReduce任务失败 问题 多个NameService环境下，运行使用viewFS功能的MapReduce或YARN任务失败。 回答 当使用viewFS时，只有在viewFS中挂载的目录才能被访问到。所以最可能的原因是配置的路径没有在viewFS的挂载点上。例如：

查看更多 →