调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

段数据量小于splitSize，还是认为它是独立的分片。 - mapreduce.input.fileinputformat.split.minsize 可以设置数据分片的数据最小值。 0 父主题： MapReduce性能调优

查看更多 →

开发MapReduce应用 MapReduce统计样例程序开发思路 MapReduce访问多组件样例程序开发思路 父主题： MapReduce开发指南

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

Python和Spark开发平台 创建特征工程 数据采样 列筛选 数据准备 特征操作 Notebook开发 全量数据应用 发布服务 父主题： 特征工程

查看更多 →

Studio。 操作步骤 从Python官网下载并安装Python版本。 根据Python官方指导安装Python版本。 检验是否配置成功，运行cmd ，输入 python。运行结果，请参见图1，显示版本信息，则说明安装和配置成功。 图1 检验配置是否成功 python安装应用包时出现错误类似错误“error:

查看更多 →

Python开发环境配置 使用 图像搜索 Python版本SDK包，需要您配置Python开发环境，步骤如下： 从Python官网下载并安装合适的Python版本。请使用Python3.3以上版本，如下以Python3.7 版本为例进行说明。 从PyCharm官网下载并安装最新版本。

查看更多 →

创建桶(Python SDK) 功能介绍 OBS桶是对象的容器，您上传的文件都将以对象的形式存放在桶中。本文介绍如何使用Python SDK创建桶。 调用创建桶接口，将在当前账号按照用户指定的桶名创建一个新桶，接口支持根据用户诉求，在创建桶的同时配置桶的存储类别、区域及桶的访问权限等参数。

查看更多 →

删除桶(Python SDK) 功能说明 桶为空时，用户可以删除桶，以免占用桶数量配额。删除桶后需要等待30分钟才能创建同名桶。 华为云无法恢复用户主动删除的OBS数据。因此调用接口删除桶后，桶相关数据无法恢复，请谨慎操作。 接口约束 待删除的桶必须为空，桶为空包含两方面含义：

查看更多 →

其他接口(Python SDK) 生成带授权信息的URL(Python SDK) 生成带授权信息的表单上传参数(Python SDK) 服务端加密(Python SDK) 静态网站托管(Python SDK) 自定义头域(Python SDK)

查看更多 →

如何设置分页查询（Python） 使用分页 在使用Python driver进行查询时，可以指定每次查询获取的行数，具体为下列样例查询中的fetch_size参数。 query = "SELECT * FROM space3.table3;" # table3 contains

查看更多 →

Python开发环境配置 环境配置 使用图像识别Python版本SDK包，需要您配置Python开发环境。 从Python官网下载并安装合适的Python版本。请使用Python3.3以上版本，如下以Python3.7 版本为例进行说明。 从PyCharm官网下载并安装最新版本。

查看更多 →

Python SDK接入示例 本文介绍使用Python3 SDK通过AMQP接入华为云物联网平台，接收服务端订阅消息的示例。 开发环境 Python 3.0及更高版本。本示例使用了Python 3.9版本。 下载SDK 本示例使用的Python语言的AMQP SDK为python

查看更多 →

Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用

查看更多 →

Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分

查看更多 →

参考修改集群服务配置参数章节。 建议配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →