dfs -mkdir obs://OBS并行文件系统名称/hadoop1 执行以下Yarn任务访问OBS： yarn jar 客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce

查看更多 →

执行如下命令查询HDFS命令的帮助hadoop fs --help HDFS命令行参考请参见官网： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html 表1 透明加密相关命令

查看更多 →

Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

方式一：添加hadoop-plugins-xxx.jar到程序的classpath或者lib目录中。 hadoop-plugins-xxx.jar包一般在HDFS客户端目录下：$HADOOP_HOME/share/hadoop/common/lib/hadoop-plugins-xxx

查看更多 →

cipal=spark2x/hadoop.hadoop.com@HADOOP.COM;hive.server2.proxy.user=test1 其中： Zookeeper实例所在节点IP：在 FusionInsight Manager页面，选择“集群 > 服务 > Zookeeper

查看更多 →

如何通过集群外的节点访问 MRS 集群？ 创建集群外Linux操作系统E CS 节点访问MRS集群 创建一个集群外ECS节点，具体请参考购买 弹性云服务器 。 ECS节点的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。

查看更多 →

0之后版本请参考修改 OMS 服务配置章节。 针对MRS 3.1.0版本集群： 修改上述用户密码将同步修改OMS LDAP管理员或用户密码。 旧版本集群升级到新版本后，LDAP管理员密码将继承旧集群的密码策略，为保证系统安全，建议集群升级后及时修改密码。 对系统的影响 MRS 2.x及之前版本

查看更多 →

在集群内节点使用LoadIncrementalHFiles批量导入数据，报错权限不足 问题 在普通集群中手动创建Linux用户，并使用集群内DataNode节点执行批量导入时，为什么LoadIncrementalHFiles工具执行失败报“Permission denied”的异常？

查看更多 →

API接口的方式，将一个表的部分数据或全部数据复制到同一个集群或另一个集群中。目标表必须预先存在。 环境准备 要将表复制到另一个集群，请先获取CloudTable目标集群的“ZK链接地址（内网）”。 登录 表格存储服务 管理控制台，在左侧导航树单击集群管理，然后在集群列表中找到所需要的集群，并获取相应的“ZK链接地址（内网）”。

查看更多 →

也可以联系管理员获取此账号。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径，您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。 linkConfig

查看更多 →

万节点部署量的考验，提供多级用户SLA保障。与自建Hadoop集群相比，MRS还具有以下优势： MRS支持一键式创建、删除、扩缩容集群，并通过弹性公网IP便捷访问MRS集群管理系统，让大数据集群更加易于使用。 用户自建大数据集群面临成本高、周期长、运维难和不灵活等问题。针对这些问

查看更多 →

集群外节点访问MRS HDFS报错 问题背景与现象 集群外节点访问MRS HDFS的时候报错：Class org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider not found。 原因分析

查看更多 →

修改MRS集群LDAP管理账户密码 建议管理员定期修改集群LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”的密码，以提升系统运维安全性。 该章节仅适用于MRS

查看更多 →

份文件复制至目的集群。 $HADOOP_HOME/bin/hadoop distcp <src> <dist> -p 其中，各参数的含义如下： $HADOOP_HOME：目的集群Hadoop客户端安装目录。 <src>：源集群HDFS目录。 <dist>：目的集群HDFS目录。 不同Region

查看更多 →

程，本实践用于指导您创建MRS集群后，获取并导入样例工程并在本地进行编译调测，用于实现MRS集群中的HDFS文件目录创建、文件写入、读取、删除等操作。 创建MRS Hadoop集群 购买一个包含有Hadoop组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.2

查看更多 →

也可以联系管理员获取此账号。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径，您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。 linkConfig

查看更多 →

认证类型 MRS集群鉴权类型，安全集群可选“KERBEROS”，非安全集群可选“SIMPLE”。选择连接的集群后，安全类型会自动填充。 连接器版本 MRS集群的数据源组件的版本，HIVE支持3版本，可选：3.X。 用户名 MRS集群的用户名。 密码 MRS集群mrs_user_name对应的密码。

查看更多 →

和“Write”权限。 例如，为用户组“obs_hadoop”添加“obs://OBS并行文件系统名称/hadoop”的“Read”和“Write”权限： 图2 为Hadoop用户组新增OBS路径读和写的权限 父主题： MRS集群服务对接OBS示例

查看更多 →

null\bin\winutils.exe in the Hadoop binaries. 通过 MapReduce服务 的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Mapreduce ＞ Jo

查看更多 →

manager.timeout”的默认时间为“600000ms”，集群规格为每个regionserver上有2000~3000个region，在集群正常情况下(HBase无异常，HDFS无大量的读写操作等)，建议此参数依据集群的规格进行调整，若实际规格（实际平均每个regonserve

查看更多 →

manager.timeout”的默认时间为“600000ms”，集群规格为每个regionserver上有2000~3000个region，在集群正常情况下(HBase无异常，HDFS无大量的读写操作等)，建议此参数依据集群的规格进行调整，如果实际规格（实际平均每个regonserv

查看更多 →