MapReduce应用框架可以通过分布式缓存进行部署，且无需依赖安装中复制的静态版本。因此，可以在HDFS中存放多版本的Hadoop，并通过配置“mapred-site.xml”文件指定任务默认使用的版本。只需设置适当的配置属性，用户就可以运行不同版本的MapReduce，而无需使用部署在集群中的版本。 图1 具

查看更多 →

大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Ha

查看更多 →

。 服务参数配置如果使用旧的存储目录，需要更新为新目录。 前提条件 在各个数据节点准备并安装好新磁盘，并格式化磁盘。 规划好新的目录路径，用于保存旧目录中的数据。 已安装好HDFS客户端。 准备好业务用户hdfs。 更改DataNode单个实例的存储目录时，保持活动的DataNode实例数必须大于“dfs

查看更多 →

通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 选择需要创建集群的子网，可进入VPC服务控制台查看VPC下已创建的子网名称和ID，若VPC下未创建子网，请在VPC服务控制台单击“创建子网”进行创建。 安全组 安全组是一组对弹性 云服务器 的访问规则的集合，为同一个VPC内具有相同安全保护需

查看更多 →

/etc/fstab命令编辑注释旧磁盘的挂载点。 图1 注释旧磁盘的挂载点 迁移旧磁盘上（例如：/srv/BigData/hadoop/data1/）的用户自有数据。 登录 MRS 管理控制台。 在集群详情页面，选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云 服务器 管理控制台，单击“关机”。

查看更多 →

ite.xml”文件，配置如下参数： “hbase.zookeeper.quorum”：该参数值为在集群管理列表中查找的对应集群的“ZK链接地址（内网）”。 登录 表格存储服务 管理控制台，在左侧导航树单击集群管理，然后在集群列表中找到所需要的集群，并获取相应的“ZK链接地址（内网）”。如下图所示：

查看更多 →

iptables：社区传统的kube-proxy模式，完全以iptables规则的方式来实现service负载均衡。该方式最主要的问题是在服务多的时候产生太多的iptables规则，非增量式更新会引入一定的时延，大规模情况下有明显的性能问题。 ipvs：主导开发并在社区获得广泛支持的kube-p

查看更多 →

，具体操作请参考认证鉴权。 通过IAM服务获取到的Token有效期为24小时，需要使用同一个Token鉴权时，可以先将Token缓存，避免频繁调用。 操作步骤 通过云服务器的ID查询网卡信息。 发送“GET https://VPC的Endpoint/v1/{project_id}/ports

查看更多 →

dows的hosts文件添加所有节点的公网IP对应主机 域名 的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云

查看更多 →

自动设置集群快照的基础配置（不推荐使用） 功能介绍 该接口用于自动设置集群快照的基础配置，包括配置OBS桶和IAM委托。 “OBS桶”：快照存储的OBS桶位置。 “备份路径”：快照在OBS桶中的存放路径。 “IAM委托”：由于需要将快照保存在OBS中，所以需要在IAM中设置对应的委托获取对OBS服务的授权。

查看更多 →

Kerveros认证所需的Principal，您也可以联系管理员获取此账号。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径，您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。

查看更多 →

IP MRS Manager的浮动IP地址，选择连接的集群后，ip地址会自动填充。 认证类型 MRS集群鉴权类型，安全集群可选“KERBEROS”，非安全集群可选“SIMPLE”。选择连接的集群后，安全类型会自动填充。 连接器版本 MRS集群的数据源组件的版本，HIVE支持3版本，可选：3

查看更多 →

Manager，选择“集群 > 待操作集群的名称 > 服务”查看HDFS的状态“运行状态”是否为“良好”。 是，执行6。 否，HDFS状态不健康，执行5。 修复HDFS异常的具体操作，任务结束。 确定修改DataNode的存储目录场景。 更改DataNode角色的存储目录，执行7。

查看更多 →

CSS集群处于可用状态。 确保客户端与CSS集群的网络是互通的。 确保CSS集群和MRS集群在同一个区域、可用区、虚拟私有云和子网。 图1 CSS集群的区域等信息 操作步骤 获取集群的内网访问地址。访问集群时，需要输入内网访问地址。 在云搜索服务管理控制台，单击左侧导航栏的“集群管理”。

查看更多 →

apache.hadoop.fs.obs.OBSFileSystem。 重启HDFS集群。 在MapReduce2集群中增加配置项 在MapReduce2集群CONFIGS的ADVANCED配置项中修改mapred-site.xml文件中的mapreduce.application.clas

查看更多 →

localhost $ ssh hostname1 依次登录集群中其他E CS ，重复执行步骤1～4。 执行以下命令，验证参加测试的ECS之间是否可以免密码互相登录。 假设集群中有2个 弹性云服务器 ，另一个云服务器的主机名为hostname2，则命令行为： $ ssh 用户名@SERVER_IP $ ssh

查看更多 →

的静态版本。因此，可以在HDFS中存放多版本的Hadoop，并通过配置“mapred-site.xml”文件指定任务默认使用的版本。只需设置适当的配置属性，用户就可以运行不同版本的MapReduce，而无需使用部署在集群中的版本。 图1 具有多个版本NodeManagers及Applications的集群

查看更多 →

地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云

查看更多 →

地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云

查看更多 →

SIMPLE”。选择连接的集群后，安全类型会自动填充。 连接器版本 MRS集群的数据源组件的版本，HIVE支持3版本，可选：3.X。 用户名 MRS集群的用户名。 密码 MRS集群mrs_user_name对应的密码。 OBS支持 打开按钮，则支持OBS。关闭按钮则不支持OBS。

查看更多 →

Metastore作为元数据存储的系统，例如Iceberg、Hudi等。 支持Managed Table。 可以识别Hive Metastore中存储的Hive和Hudi元数据。 如果想访问非当前用户创建的Catalog，需授予用户Catalog所在的OBS路径的操作权限。 Hive表格

查看更多 →