执行如下命令查询HDFS命令的帮助hadoop fs --help HDFS命令行参考请参见官网： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html 表1 透明加密相关命令

查看更多 →

配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本

查看更多 →

配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本

查看更多 →

集群 业务模型编号对应的业务模型，请参见业务模型。 OPS：Operation Per Second，数据库每秒执行的操作数。 不同业务模型和shard节点规格下，基于3.4版本的数据库实例，根据表2预置小数据量数据，测试的OPS数据，详见表1中加粗内容。 表1 弱一致性，且预置小数据量数据下的OPS

查看更多 →

cipal=spark2x/hadoop.hadoop.com@HADOOP.COM;hive.server2.proxy.user=test1 其中： Zookeeper实例所在节点IP：在 FusionInsight Manager页面，选择“集群 > 服务 > Zookeeper

查看更多 →

方式一：添加hadoop-plugins-xxx.jar到程序的classpath或者lib目录中。 hadoop-plugins-xxx.jar包一般在HDFS客户端目录下：$HADOOP_HOME/share/hadoop/common/lib/hadoop-plugins-xxx

查看更多 →

。 使用须知 M3型 弹性云服务器 没有IB网卡和SSD卡。 M3型弹性 云服务器 支持同类型云 服务器 之间的规格变更。 适用场景 高性能数据库 内存数据库 分布式内存缓存 数据分析和挖掘 Hadoop/Spark集群以及其他企业应用程序 规格 表7 M3型弹性云服务器的规格 规格名称 vCPU

查看更多 →

0之后版本请参考修改 OMS 服务配置章节。 针对 MRS 3.1.0版本集群： 修改上述用户密码将同步修改OMS LDAP管理员或用户密码。 旧版本集群升级到新版本后，LDAP管理员密码将继承旧集群的密码策略，为保证系统安全，建议集群升级后及时修改密码。 对系统的影响 MRS 2.x及之前版本

查看更多 →

步骤一：购买HBase集群 登录 表格存储服务 控制台。 在控制台左上角选择区域。 单击“集群管理”进入集群管理界面。 单击集群管理界面右上角的“购买集群”，进入购买集群页面配置相关参数（安全组规则配置端口请参见表2）。 单击“立即购买”，进入确认规格页面，确认无误，单击“完成”。 返回集群列表查看

查看更多 →

修改MRS集群LDAP管理账户密码 建议管理员定期修改集群LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”的密码，以提升系统运维安全性。 该章节仅适用于MRS

查看更多 →

认证类型 MRS集群鉴权类型，安全集群可选“KERBEROS”，非安全集群可选“SIMPLE”。选择连接的集群后，安全类型会自动填充。 连接器版本 MRS集群的数据源组件的版本，HIVE支持3版本，可选：3.X。 用户名 MRS集群的用户名。 密码 MRS集群mrs_user_name对应的密码。

查看更多 →

和“Write”权限。 例如，为用户组“obs_hadoop”添加“obs://OBS并行文件系统名称/hadoop”的“Read”和“Write”权限： 图2 为Hadoop用户组新增OBS路径读和写的权限 父主题： MRS集群服务对接OBS示例

查看更多 →

在集群内节点使用LoadIncrementalHFiles批量导入数据，报错权限不足 问题 在普通集群中手动创建Linux用户，并使用集群内DataNode节点执行批量导入时，为什么LoadIncrementalHFiles工具执行失败报“Permission denied”的异常？

查看更多 →

null\bin\winutils.exe in the Hadoop binaries. 通过 MapReduce服务 的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Mapreduce ＞ Jo

查看更多 →

API接口的方式，将一个表的部分数据或全部数据复制到同一个集群或另一个集群中。目标表必须预先存在。 环境准备 要将表复制到另一个集群，请先获取CloudTable目标集群的“ZK链接地址（内网）”。 登录 表格存储 服务管理控制台，在左侧导航树单击集群管理，然后在集群列表中找到所需要的集群，并获取相应的“ZK链接地址（内网）”。

查看更多 →

集群外节点访问MRS HDFS报错 问题背景与现象 集群外节点访问MRS HDFS的时候报错：Class org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider not found。 原因分析

查看更多 →

OBS和MapReduce服务 MRS，帮助用户在华为云上快速搭建大数据存算分离集群。MRS是一个在华为云上部署和管理Hadoop系统的服务，通过为MRS集群绑定弹性云服务 E CS 委托方式访问OBS，实现用户使用MRS集群作数据计算处理，而数据存储在OBS服务中。大数据在人们的生活中无处不在

查看更多 →

步骤三：安装集群客户端 MRS集群创建成功后，用户可安装集群客户端用于连接集群内各组件服务，进行作业提交等操作。 客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。本指南以在Master1节点上安装客户端为例进行介绍。 MRS集群创建成功后，在集群列表中单击MRS集群名称进入集群概览页面。

查看更多 →

manager.timeout”的默认时间为“600000ms”，集群规格为每个regionserver上有2000~3000个region，在集群正常情况下(HBase无异常，HDFS无大量的读写操作等)，建议此参数依据集群的规格进行调整，如果实际规格（实际平均每个regonserv

查看更多 →

tar 操作场景 在Linux上安装客户端。 操作步骤 客户端机器的时间与Hadoop集群的时间要保持一致(手动修改客户端机器或者集群的时间)，时间差小于5分钟。 MRS集群的时间可通过登录主管理节点（集群管理IP地址所在节点）运行date命令查询。 下载MapReduce客户端程序到客户端机器中。

查看更多 →

manager.timeout”的默认时间为“600000ms”，集群规格为每个regionserver上有2000~3000个region，在集群正常情况下(HBase无异常，HDFS无大量的读写操作等)，建议此参数依据集群的规格进行调整，若实际规格（实际平均每个regonserve

查看更多 →