表1 HDFS相关样例工程 样例工程位置 描述 hdfs-example-security HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加文件内容、读文件和删除文件/文件夹等相关接口操作示例。 hdfs-c-example HDFS C语言开发代码样例。

查看更多 →

准备Spark应用开发用户 前提条件 MRS 服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作场景 开发用户用于运行样例工程。用户需要有HDFS、YARN和Hive权限，才能运行Spark样例工程。 操作步骤 登录MRS Manager，请参考登录MRS Manager。

查看更多 →

参考 CDM 服务的新建连接页面，分别添加到迁移源端集群和迁移目的端集群的两个HDFS连接。 连接类型根据实际集群来选择，如果是MRS集群，连接器类型可以选择“MRS HDFS”，如果是自建集群可以选择“Apache HDFS”。 图2 HDFS连接 在“表/文件迁移” 页签，单击“新建作业”。 选择源连接、目的连接：

查看更多 →

获取参数步骤： 登录MRS集群的Manager页面。 主页>Yarn>实例>ResoureManager>概览>配置文件>yarn-site.xml。 参数获取方法。 连接mrs集群，请参见使用mrs客户端章节。 进入client目录下，显示出MRS的全部组件，目前使的组件有HDFS和Hive组件。

查看更多 →

使用CDM服务迁移数据至MRS HDFS时任务运行失败 用户问题 使用CDM从旧的集群迁移数据至新集群的HDFS过程失败。 问题现象 使用CDM从源HDFS导入目的端HDFS，发现目的端MRS集群故障，NameNode无法启动。 查看日志发现在启动过程中存在“Java heap

查看更多 →

，客户无需特殊操作，MRS运维相关人员会及时介入处理并恢复。 支持HDFS单副本检测能力 MRS 1.9.2.3补丁中，会增加HDFS单副本检测和告警能力，新增是否允许写入单副本数据配置项dfs.single.replication.enable，对于新建集群该值配置为false

查看更多 →

样执行3和4。 在Master1节点执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 具有HDFS操作权限的业务用户

查看更多 →

/user/mapred:755 配置HDFS文件和目录的权限 HDFS支持用户进行文件和目录默认权限的修改。HDFS默认用户创建文件和目录的权限的掩码为“022”，如果默认权限满足不了用户的需求，可以通过配置项进行默认权限的修改。 参数入口： 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。

查看更多 →

/user/mapred:755 配置HDFS文件和目录的权限 HDFS支持用户进行文件和目录默认权限的修改。HDFS默认用户创建文件和目录的权限的掩码为“022”，如果默认权限满足不了用户的需求，可以通过配置项进行默认权限的修改。 参数入口： 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。

查看更多 →

需要特别说明的是，部分组件不提供单独的数据备份与恢复功能： Kafka支持副本特性，在创建主题时可指定多个副本来备份数据。 CDL的数据存储在DBService与Kafka服务中，系统管理员可以通过创建备份DBService和Kafka的任务来备份数据。 Mapreduce和Yarn的数据存放在HDFS上，故其依赖HDFS提供备份与恢复即可。

查看更多 →

MRS创建 登录MRS管理控制台。 单击“购买集群”，进入“购买集群”页面。 在购买集群页面，选择“自定义购买”页签。 配置软件配置集群信息，“区域”选择【华北-北京四】，填写集群名称，选择集群版本“MRS 3.0.5”，“集群类型”选择【分析集群】，“分析组件”除默认外勾选“S

查看更多 →

储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据，客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用，同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 数据存储在OBS：数据存储和计算分

查看更多 →

当需要新建Hadoop类型连接时，建议先创建集群配置，以简化复杂的连接参数配置。 前提条件 已创建集群。 已参见表1获取相应Hadoop集群配置文件和Keytab文件。 获取集群配置文件和Keytab文件 不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同，请参见表1获取相应Hadoop集群配置文件和Keytab文件。

查看更多 →

获取参数步骤： 登录MRS集群的Manager页面。 主页>Yarn>实例>ResoureManager>概览>配置文件>yarn-site.xml。 参数获取方法。 连接mrs集群，请参见使用mrs客户端章节。 进入client目录下，显示出MRS的全部组件，目前使用的组件有HDFS和Hive组件。

查看更多 →

创建MRS集群 场景描述 本章节指导用户通过API创建一个MRS分析集群。API的调用方法请参见如何调用API。 约束限制 已在待创建集群区域通过虚拟私有云服务创建VPC，子网。创建VPC请参考查询VPC列表和创建VPC。创建子网请参考查询子网列表和创建子网。 已获取待创建集群区域

查看更多 →

MRS集群管理 配置MRS集群阈值类告警 提交Spark任务到新增Task节点 配置MRS集群弹性伸缩 MRS集群数据备份与恢复

查看更多 →

背景信息 MRS集群处理的数据源通常来源于OBS或HDFS，OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据，客户可以基于管理控制台Web界面和OBS客户端对数据进行浏览、管理和使用。如果需要将OBS的数据导入集群的HDFS系统后进行处理，可参考以下步骤进行操作。

查看更多 →

在“节点管理”页签中单击某一Master节点名称，进入弹性云服务器管理控制台。 单击页面右上角的“远程登录”。 根据界面提示，输入Master节点的用户名和密码，用户名、密码分别为root和创建集群时设置的密码。 执行如下命令初始化环境变量。 source /opt/Bigdata/client/bigdata_env

查看更多 →

持与Active节点同步的状态以便在必要时进行快速主备切换。 为保持Active和Standby节点的数据一致性，两个节点都要与一组称为JournalNode的节点通信。当Active对文件系统元数据进行修改时，会将其修改日志保存到大多数的JournalNode节点中，例如有3个

查看更多 →

MRS Hive 获取MRS Hive配置文件方法如下： 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件。 获取“hiveclient

查看更多 →

Server建议使用的版本：2005以上。 金仓和 GaussDB 数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库：数据仓库服务（DWS），数据湖探索（ DLI ） Hadoop：MRS HDFS，MRS HBase，MRS

查看更多 →