从而提高整体导出性能。 准备环境 已创建DWS集群，需确保 MRS 和DWS集群在同一个区域、可用区、同一VPC子网内，确保集群网络互通。 创建MRS分析集群 登录华为云控制台，选择“大数据 > MapReduce服务 ”，单击“购买集群”，选择“自定义购买”，填写软件配置参数，单击“下一步”。

查看更多 →

X/install/ FusionInsight -Hadoop-3.1.1/hadoop/sbin/exportENV_VARS.sh 命令中的“MRS_X.X.X”和“1_8”根据实际版本而定。 加载完成后，执行如下命令，格式化Zkfc。 cd ${HADOOP_HOME}/bin ./hdfs zkfc

查看更多 →

和NameNode一起运行。 NameNode和DataNode之间的通信都是建立在TCP/IP的基础之上的。NameNode、DataNode、ZKFC和JournalNode能部署在运行Linux的服务器上。 图1 HA HDFS结构 图1中各模块的功能说明如表1所示。 表1

查看更多 →

tput和log文件夹。 单击“并行文件系统 > 创建并行文件系统”，创建一个名称为userdata的文件系统。 在OBS文件系统列表中单击文件系统名称userdata，选择“文件 > 新建文件夹”，分别创建program、input、output和log目录。 上传数据至userdata文件系统。

查看更多 →

执行ping命令，查看HiveServer所在主机与ZooKeeper、HDFS、Yarn和DBService服务所在主机的网络连接是否正常。（获取ZooKeeper、HDFS、Yarn和DBService服务所在主机的IP地址的方式和获取HiveServer IP地址的方式相同。） 是，执行7。

查看更多 →

“integrity”：进行认证和一致性校验。 “privacy”：进行认证、一致性校验、加密。 dfs.encrypt.data.transfer 设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。HDFS数据传输通道包括DataNode间的数据传输通道，客户端访问DataNode的DT（Data

查看更多 →

字样以及MRS集群的ID，此ID与MRS管理控制台的集群列表MRS ID相同。 srvoptions字段中的address参数为MRS集群的主备节点的IP地址及端口。 您可以根据上述信息找到您所要的外部服务器，并记录下它的srvname和srvoptions的值。 切换为即将创建外部服务器的用户去连接其对应的数据库。

查看更多 →

Compiler：编译HQL并将其转化为一系列相互依赖的Map/Reduce任务。 Optimizer：优化器，分为逻辑优化器和物理优化器，分别对HQL生成的执行计划和MapReduce任务进行优化。 Executor：按照任务的依赖关系分别执行Map/Reduce任务。 ThriftServer：提

查看更多 →

“写”和“执行”权限，单击“确定”，完成角色的创建。 图3 配置HDFS服务权限 选择“用户 > 添加用户”，配置如下参数创建一个用户，详情请参见创建用户。 填写用户名，例如test。 用户类型为“人机”用户。 输入密码和确认新密码。 绑定“Manager_viewer”和5新建的“mrrole”角色取得权限。

查看更多 →

集群HDFS文件接口 获取指定目录文件列表 父主题： API V2

查看更多 →

交Spark Jar和Spark python程序，执行Spark application，计算和处理用户数据。 提交Spark作业 提交SparkSQL作业 Spark基于内存进行计算的分布式计算框架。SparkSQL作业用于查询和分析数据，包括SQL语句和Script脚本两种

查看更多 →

单击“更新配置”。 更新当前连接的“MRS集群状态”和“配置状态”。在更新配置时，无法创建新的连接，且会检查安全组规则是否正常并自助修复。参数说明如下所示： 表1 参数说明 参数名 参数解释 dfs.client.read.shortcircuit 是否开启本地读。 dfs.client

查看更多 →

/user/hive/warehouse/.*\.db,(hdfs|obs|viewfs)://[\w|\-|\.]+/user/hive/warehouse/.*\.db"，从而实现防止建表和建库等操作时location指向已经存在的库的路径。 升级HDFS上组件的zip包 登录集群主节点并执行以下命令： su

查看更多 →

目的端“写入目录”输入：/hbase/data/default/表名 执行fixMeta和fixAssignments等命令恢复表，参考使用命令恢复历史不变的数据。 在CDH集群中删除快照： hdfs dfs -deleteSnapshot <snapshotDir> s0 恢复表时的问题处理

查看更多 →

MRS HBase 获取MRS HBase配置文件方法如下： 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件。 获取“core-site

查看更多 →

${HADOOP_HOME}/etc/hadoop/hdfs-site.xml user.keytab 对于Kerberos安全认证提供HDFS用户信息。 如果是安全模式集群，您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。 krb5.conf Kerberos

查看更多 →

启集群和修改集群配置。 缩容成功：集群缩容成功后集群状态为“运行中”，计费按照缩容后所使用的资源计算。 缩容失败：集群缩容失败时集群状态为“运行中”。用户可以执行作业，也可以重新进行缩容操作。 缩容成功后，可以在集群详情的“节点管理”页签查看集群的节点信息。 指定节点缩容 当节点

查看更多 →

e”、“Read”、“Write”、“Execute”。 在“权限”的表格中选择“HDFS > File System > hdfs://hacluster/ ”，勾选“Read”、“Write”和“Execute”。 在“权限”的表格中选择“Hive > Hive Read Write

查看更多 →

如果配置为“true”， CDM 读取HDFS系统上的文件时，会先对待迁移的源目录创建快照（不允许对单个文件创建快照），然后CDM迁移快照中的数据。 需要HDFS系统的管理员权限才可以创建快照，CDM作业完成后，快照会被删除。 fromJobConfig.formats 否 数据结构 时间格式，当“fromJobConfig

查看更多 →

HDFS故障排除 往HDFS写数据时报错“java.net.SocketException” 删除大量文件后重启NameNode耗时长 EditLog不连续导致NameNode启动失败 当备NameNode存储元数据时，断电后备NameNode启动失败 dfs.datanode.data

查看更多 →

开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 创建HDFS目录 创建HDFS文件并写入内容 追加信息到HDFS指定文件 读取HDFS指定文件内容 删除HDFS指定文件 删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略（Colocation）

查看更多 →