管理集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM 支持的Hadoop类型连接主要包括以下几类： MRS 集群：MRS HDFS，MRS

查看更多 →

如何通过集群外的节点访问MRS集群？ 创建集群外Linux操作系统E CS 节点访问MRS集群 创建一个集群外ECS节点，具体请参考购买弹性云 服务器 。 ECS节点的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。

查看更多 →

“主机名前缀”保持默认暂不配置。 勾选“高级配置”并选择“委托”为“MRS_ECS_DEFAULT_AGENCY”。 单击“下一步”。 确认配置 “配置”：确认软件配置、硬件配置及高级配置信息。 勾选通信安全授权。 单击“立即购买”，进入任务提交成功页面。 单击“返回集群列表”，在“现有集群”列表中

查看更多 →

配置NFS 操作场景 用户在部署集群前，可根据需要规划Network File System（简称NFS）服务器，用于存储NameNode元数据，以提高数据可靠性。 如果您已经部署NFS服务器，并已配置NFS服务，本操作提供集群侧的配置指导，为可选任务。 操作步骤 在NFS服务器

查看更多 →

集群配置管理 操作场景 CCE支持对集群配置参数进行管理，通过该功能您可以对核心组件进行深度配置。 约束与限制 本功能仅支持在v1.15及以上版本的集群中使用，v1.15以下版本不显示该功能。 操作步骤 登录CCE控制台，在左侧导航栏中选择“集群管理”。 找到目标集群，查看集群的更多操作，并选择“配置管理”。

查看更多 →

配置NFS 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前，可根据需要规划Network File System（简称NFS）服务器，用于存储NameNode元数据，以提高数据可靠性。 如果您已经部署NFS服务器，并已配置NFS服务，本操作提供集群侧的配置指导，为可选任务。

查看更多 →

查询集群参数配置 功能介绍 该接口用于查询集群所关联的参数组。 调用方法 请参见如何调用API。 URI 1 GET /v1.0/{project_id}/clusters/{cluster_id}/configurations/{configuration_id} 表1 路径参数

查看更多 →

配置集群静态资源 操作场景 当需要控制集群服务可以使用节点资源的情况，或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时，集群管理员可以在 FusionInsight Manager调整资源基数，并自定义资源配置组。 对系统的影响 配置静态服务池后，受影响的服务的“配置

查看更多 →

修改集群参数配置 功能介绍 该接口用于修改集群使用的参数配置信息。 调用方法 请参见如何调用API。 URI 1 PUT /v2/{project_id}/clusters/{cluster_id}/configurations/{configuration_id} 表1 路径参数

查看更多 →

集群调度器配置 开启GPU共享 是否开启GPU共享能力 参数名 取值范围 默认值 是否允许修改 作用范围 enable-gpu-share true/false true 允许 CCE Standard/ CCE Turbo 配置建议： true 默认调度器 集群调度器选择开关，用户可自定义调度器模式。

查看更多 →

yes”修改为“#protected-mode yes”；修改后保存文件。 子节点服务部署 在所有子节点服务器上解压移动平台基础安装包，并直接覆盖最新版的升级包文件 不要执行安装和启动命令，只是解压安装包，同时覆盖升级包 修改基础配置 修改配置文件：emp\work\config\application-custom

查看更多 →

x之前版本）分别更新客户端配置文件。 更新A集群的客户端配置文件。 更新B集群的客户端配置文件。 场景2： A集群和B集群（对端集群、互信集群）是不同类型集群，请执行如下步骤分别更新对端集群的配置文件到本端集群和本端集群自身的配置文件。 将A集群的客户端配置文件更新到B集群上。 将B集群的客户端配置文件更新到A集群上。

查看更多 →

修改集群NTP服务器 操作场景 安装FusionInsight Manager管理系统后，如果未配置NTP服务器或已配置的NTP不再使用，管理员可以为集群重新指定或者更换新的NTP服务器，使集群从新的NTP时钟源同步时间。 对系统的影响 更换NTP服务器是高危操作，更换后集群时间可能将会变化。

查看更多 →

org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

c-3 #hadoop内存大小(GB) hadoop_memory_size=8 #yarn虚拟核心数 yarn_vcpu_cores=8 #指定hadoop安装地址(所有服务器安装目录必须一致) hadoop_installdir=/usr/local/hadoop #core-site

查看更多 →

ive、Tez等）需要进行完整的本地安装，将库安装至所有的集群机器（客户端及服务器端机器）中。当集群内开始进行滚动升级或降级时，本地安装的库的版本必然会在应用运行过程时发生改变。在滚动升级过程中，首先只会对少数NodeManager进行升级，这些NodeManager会获得新版本

查看更多 →

见如何使用自动化工具配置华为云镜像源(x86_64和ARM)？。 操作流程 Linux实例手工搭建Hadoop环境的具体操作步骤如下： 安装JDK 安装Hadoop 配置Hadoop 配置SSH免密登录 启动Hadoop 实施步骤 安装JDK 登录弹性云服务器。 执行以下命令，下载jdk软件包。

查看更多 →

查看集群基本信息/修改集群配置 操作场景 CDM集群已经创建成功后，您可以查看集群基本信息，并修改集群的配置。 查看集群基本信息： 集群信息：集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置：集群规格、CPU和内存配置等信息。 网络信息：网络配置。 支持修改集群的以下配置：

查看更多 →

#指定hadoop安装地址(所有服务器安装目录必须一致) hadoop_installdir=/usr/local/hadoop #core-site.xml文件,配置hadoop数据目录 hadoop_datadir=/data/hadoop #hadoop安装用户 hadoop_installuser=dce

查看更多 →

当用户在distcp命令中使用webhdfs://时，会发生上述异常，是由于集群所使用的HTTP政策为HTTPS，即配置在“hdfs-site.xml”（文件路径为“客户端安装目录/HDFS/hadoop/etc/hadoop”）的“dfs.http.policy”值为“HTTPS_ONLY

查看更多 →

${BIGDATA_DATA_HOME}/hadoop/data3/dn。 在FusionInsight Manager管理界面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”，打开HDFS服务配置页面。 将配置项“dfs.datanode.data.dir”从默认值“%{@auto

查看更多 →