HDFS访问OBS 功能简介 访问OBS过程为： 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录，并确保访问用户具有对应目录的访问操作权限。

查看更多 →

配置HDFS用户访问HDFS文件权限 配置HDFS目录权限 默认情况下，某些HDFS的文件目录权限为777或者750，存在安全风险。建议您在安装完成后修改该HDFS目录的权限，增加用户的安全性。 在HDFS客户端中，使用具有HDFS管理员权限的用户，执行如下命令，将“/user”的目录权限进行修改。

查看更多 →

配置HDFS用户访问HDFS文件权限 配置HDFS目录权限 默认情况下，某些HDFS的文件目录权限为777或者750，存在安全风险。建议您在安装完成后修改该HDFS目录的权限，增加用户的安全性。 在HDFS客户端中，使用具有HDFS管理员权限的用户，执行如下命令，将“/user”的目录权限进行修改。

查看更多 →

用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。 kinit HDFS组件操作用户 在HDFS命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录：

查看更多 →

配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道，如果客户端没有配置，默认使用http访问，客户端和服务端的配置不同，就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。 操作步骤

查看更多 →

配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道，如果客户端没有配置，默认使用http访问，客户端和服务端的配置不同，就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。 操作步骤

查看更多 →

BCS 的性能怎么样？ 使用32U 64G规格的E CS ，2个客户端同时压测得到的性能数据如下： 表1 数据说明 类型 性能说明 ECDSA+FBFT场景 支持并发数为50，一致性吞吐量为6504 TPS。 国密+FBFT场景 支持并发数为50，一致性吞吐量为5698 TPS。 父主题：

查看更多 →

如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如，执行以下命令访问“mrs-wor

查看更多 →

添加HDFS的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HDFS用户配置HDFS目录或文件的读、写和执行权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户ra

查看更多 →

添加HDFS的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HDFS用户配置HDFS目录或文件的读、写和执行权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户ra

查看更多 →

使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时，报如下图所示无法访问的错误提示，该如何处理？ 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装

查看更多 →

访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题： 将AI应用部署为实时推理作业

查看更多 →

HDFS连接 介绍 通过HDFS连接，可以对 MRS 、 FusionInsight HD或开源Hadoop的HDFS抽取、加载文件，支持CSV、Parquet和二进制格式。 连接样例 { "links": [ { "link-config-values":

查看更多 →

使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时，报如下图所示无法访问的错误提示，该如何处理？ 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装

查看更多 →

原因分析 出现这个报错可能的场景有： 开源HDFS客户端访问MRS集群的HDFS时报错。 使用jar包连接MRS集群的HDFS（包括提交任务时连接HDFS）时报错。 解决办法 方法一： 找到命令或者jar包使用的HDFS配置文件hdfs-site.xml。 修改“dfs.client.failover

查看更多 →

物理连接开通的区域。用户可以在管理控制台左上角或购买页面切换区域。 物理连接名称 用户将要创建的物理连接的名称（可自定义）。 华为云接入点 物理连接接入点的位置。 运营商 提供物理连接的运营商。 端口类型 物理连接接入端口的类型：1GE，10GE、40GE、100GE。 专线带宽 物理连接的带宽

查看更多 →

hdfs_path 格式 无。 说明 HDFS的路径，如“hdfs:///tmp”。 父主题： 标示符

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

HDFS HDFS基本原理 HDFS HA方案介绍 HDFS与其他组件的关系 HDFS开源增强特性 父主题： 组件介绍

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

弹性文件服务支持哪些访问协议？ SFS容量型支持标准的NFSv3协议和CIFS协议；SFS Turbo和通用文件系统支持标准的NFSv3协议。 父主题： 规格类

查看更多 →