通过Python接入集群 本文介绍通过Python语言访问 CSS 集群的配置说明。 准备工作 CS S集群处于可用状态。 确保运行Python代码的 服务器 与CSS集群的网络是互通的。 操作步骤 安装Elasticsearch Python客户端，建议和Elasticsearch的版本保持一致，例如需要访问的集群版本是7

查看更多 →

查看告警列表 滚动重启服务 在修改了大数据组件的配置项后，需要重启对应的服务来使得配置生效，使用普通重启方式会并发重启所有服务或实例，可能引起业务断服。为了确保服务重启过程中，尽量减少或者不影响业务运行，可以通过滚动重启来按批次重启服务或实例（对于有主备状态的实例，会先重启备实例，再重启主实

查看更多 →

MapReduce开源增强特性 MapReduce开源增强特性：JobHistoryServer HA特性 JobHistoryServer（JHS）是用于查看MapReduce历史任务信息的服务器，当前开源JHS只支持单实例服务。JobHistoryServer HA能够解决J

查看更多 →

MapReduce服务 MRS MRS资源属于指定安全组 MRS资源属于指定VPC MRS集群开启kerberos认证 MRS集群使用多AZ部署 MRS集群未绑定公网IP 父主题： 系统内置预设策略

查看更多 →

在参数区域中提供启动配置参数。 关于启动配置参数的详细说明，请参考相应的主题： 当前 Python 文件 Python 文件 Python 模块 附加到进程 Django 应用程序 FastAPI 应用程序 Flask 应用程序 Pyramid 应用程序 pytest unittest 单击“确定”以应用更改并关闭对话框。

查看更多 →

安装相应的python模块。 需要安装sasl，thrift，thrift-sasl，PyHive。 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive 安装python连接zookeeper工具。

查看更多 →

MRS是否支持Python代码？ MapReduce服务中的样例工程和应用开发没有区别，两者都可以选择。 MRS服务支持Python代码，部分提供了Python样例代码的组件样例工程可参考《开发指南》对应章节。 父主题： 应用开发类

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applica

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把

查看更多 →

调测MapReduce应用 编译并运行MapReduce应用 查看MapReduce应用调测结果 父主题： MapReduce开发指南

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（安全模式）

查看更多 →

主要通过如下参数进行调整。 参数入口： 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 建议配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。

查看更多 →

主要通过如下参数进行调整。 参数入口： 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 建议：配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

无法使用。如果需要使用MapReduce命令，将参数值修改为“true”，修改后需要重启实例才生效。 对于集群实例，需要变更全部shard节点关联参数模板中对应参数值，再重启实例生效。 对于副本集或单节点实例，直接变更实例关联参数模板中对应参数值，再重启实例生效。 如何变更参数值请参见编辑参数模板。

查看更多 →

JobHistoryServer堆内存使用率过高，会影响Mapreduce 服务日志归档的性能，甚至造成内存溢出导致Mapreduce服务不可用。 可能原因 该节点Mapreduce JobHistoryServer实例堆内存使用量过大，或分配的堆内存不合理，导致使用量超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面，选择“告警管理”。

查看更多 →

运维和不灵活等问题。 针对上述问题，华为云提供了大数据MapReduce服务（MRS），MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合 华为云计算 、存储优势及大数据行

查看更多 →

已创建弹性 云服务器 。创建弹性云服务器的方法，请参见《弹性云服务器用户指南》。 您创建的弹性云服务器必须与Memcached实例属于同一个VPC，并配置相同的安全组，以确保弹性云服务器与缓存实例的网络是连通的。 如果弹性云服务器与Memcached实例不在相同VPC中，可以通过建立VPC对等连接方式连通网络

查看更多 →