表1 HDFS相关样例工程 样例工程位置 描述 hdfs-example-security HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加文件内容、读文件和删除文件/文件夹等相关接口操作示例。 hdfs-c-example HDFS C语言开发代码样例。

查看更多 →

表1 HDFS相关样例工程 样例工程位置 描述 hdfs-example-normal HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加文件内容、读文件和删除文件/文件夹等相关接口操作示例。 hdfs-c-example HDFS C语言开发代码样例。

查看更多 →

户需要HDFS系统的管理员权限。 如果要创建 MRS 安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户，然后在创建MRS数据连接时，“用户名”和“密码”填写为新建的MRS用户及其密码。

查看更多 →

MRS最佳实践汇总 本文汇总了MapReduce（MRS）服务的常见应用场景，并为每个场景提供详细的方案描述和操作指南，您可以根据本文查看适合您业务的实践教程文档。 MRS最佳实践 开发者社区精选最佳实践 表1 MRS最佳实践 分类 相关文档 数据分析类 使用Spark2x实现车联网车主驾驶行为分析

查看更多 →

SQL：使用Spark提供的类似SQL的Spark SQL语句，实时查询和分析用户数据。 Hive：建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。 Flink：提供一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。 HadoopSt

查看更多 →

例 Kafka的Broker角色实例（MRS 2.x及之前版本、MRS 3.5.0及之后版本支持） 退服和入服MRS角色实例约束和限制 已经退服的角色实例，必须执行入服操作启动该实例，才能重新使用。 ClickHouseServer实例退服约束条件请参考缩容ClickHouseServer约束限制。

查看更多 →

从而提高整体导出性能。 准备环境 已创建DWS集群，需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内，确保集群网络互通。 创建MRS分析集群 登录华为云控制台，选择“大数据 > MapReduce服务 ”，单击“购买集群”，选择“自定义购买”，填写软件配置参数，单击“下一步”。

查看更多 →

启动HDFS和Yarn服务报错“Permission denied” 用户问题 启动HDFS和Yarn时报错。 问题现象 无法启动HDFS、Yarn服务组件，报错内容：/dev/null Permission denied。 原因分析 用户修改了虚机系统的“/dev/null”的权限值为775。

查看更多 →

权限机制 MRS集群采用LDAP存储用户和用户组的数据；角色的定义信息保存在关系数据库中，角色和权限的对应关系则保存在组件侧。 MRS使用Kerberos进行统一认证。 用户权限校验流程大致如下： 客户端（用户终端或MRS组件服务）调用MRS认证接口。 MRS使用登录用户名和密码，到Kerberos进行认证。

查看更多 →

准备Spark应用开发用户 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作场景 开发用户用于运行样例工程。用户需要有HDFS、YARN和Hive权限，才能运行Spark样例工程。 操作步骤 登录MRS Manager，请参考登录MRS Manager。

查看更多 →

获取参数步骤： 登录MRS集群的Manager页面。 主页>Yarn>实例>ResoureManager>概览>配置文件>yarn-site.xml。 参数获取方法。 连接mrs集群，请参见使用mrs客户端章节。 进入client目录下，显示出MRS的全部组件，目前使的组件有HDFS和Hive组件。

查看更多 →

字样以及MRS集群的ID，此ID与MRS管理控制台的集群列表MRS ID相同。 srvoptions字段中的address参数为MRS集群的主备节点的IP地址及端口。 您可以根据上述信息找到您所要的外部服务器，并记录下它的srvname和srvoptions的值。 切换为即将创建外部服务器的用户去连接其对应的数据库。

查看更多 →

enabled”，修改为“true”。 修改完成后，单击“保存配置”，并重启HDFS服务。 FusionInsight Manager界面操作（适用MRS 3.x及之后版本）： 登录FusionInsight Manager。选择“集群 > 服务 > HDFS > 配置 > 全部配置”。 在搜索框中输入“dfs

查看更多 →

使用 CDM 服务迁移数据至MRS HDFS时任务运行失败 用户问题 使用CDM从旧的集群迁移数据至新集群的HDFS过程失败。 问题现象 使用CDM从源HDFS导入目的端HDFS，发现目的端MRS集群故障，NameNode无法启动。 查看日志发现在启动过程中存在“Java heap

查看更多 →

用于连接各组件的HTTP接口，<hostname>表示集群中节点主机名。 hue 系统随机生成 Hue系统启动与Kerberos认证用户，并用于访问HDFS和Hive。 flume 系统随机生成 Flume系统启动用户，用于访问HDFS和Kafka，对HDFS目录“/flume”有读写权限。 flume_server

查看更多 →

Server建议使用的版本：2005以上。 金仓和 GaussDB 数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库：数据仓库服务（DWS） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储： 对象存储服务 （OBS）

查看更多 →

“写”和“执行”权限，单击“确定”，完成角色的创建。 图3 配置HDFS服务权限 选择“用户 > 添加用户”，配置如下参数创建一个用户，详情请参见创建用户。 填写用户名，例如test。 用户类型为“人机”用户。 输入密码和确认新密码。 绑定“Manager_viewer”和5新建的“mrrole”角色取得权限。

查看更多 →

通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件，并在本地配置好相关开发工具，可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支，下载并获取MRS相关样例工程。 例如本章节场景对应示例为“hdfs-example-security”样例，获取地址：https://github

查看更多 →

，客户无需特殊操作，MRS运维相关人员会及时介入处理并恢复。 支持HDFS单副本检测能力 MRS 1.9.2.3补丁中，会增加HDFS单副本检测和告警能力，新增是否允许写入单副本数据配置项dfs.single.replication.enable，对于新建集群该值配置为false

查看更多 →

需特殊操作，MRS运维相关人员会及时介入处理并恢复。 支持HDFS单副本检测能力。 MRS 3.1.5.0.1及之后的补丁中，会增加HDFS单副本检测和告警能力，新增是否允许写入单副本数据配置项dfs.single.replication.enable，对于新建集群该值配置为fa

查看更多 →

ble） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch， 云搜索 服务（ CSS ） Microsoft SQL Server建议使用的版本：2005以上。 金仓和GaussDB数据源可通过Postg

查看更多 →