如果集群为安全模式，执行以下命令进行用户认证，该用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。 kinit HDFS组件操作用户 在HDFS命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径

查看更多 →

配置Yarn通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在集群客户端执行Yarn任务访问OBS。 Yarn对接OBS 以客户端安装用户登录安装了Yarn客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录

查看更多 →

开头的临时文件。这些临时文件随后将会按照用户指定的策略和合并方式进行合并，最终生成合并后的Pending状态的文件。 然后这些文件将被发送给Committer并提交为正式文件，在这之后，原始的临时文件也会被删除掉。 分区功能 Filesystem sink支持分区功能，通过partitioned

查看更多 →

POST restore 是 是 通过OBS BrowserJS SDK生成临时URL访问OBS的步骤如下： 通过ObsClient.createSignedUrlSync生成带签名信息的URL。 使用任意HTTP库发送HTTP/HTTPS请求，访问OBS服务。 如果遇到跨域报错、签名不匹配问题，请参考以下步骤排查问题：

查看更多 →

恢复归档存储对象 POST restore 是 是 通过OBS PHP SDK生成临时URL访问OBS的步骤如下： 通过ObsClient->createSignedUrl生成带签名信息的URL。 使用任意HTTP库发送HTTP/HTTPS请求，访问OBS服务。 如果遇到跨域报错、签名不匹配问题，请参考以下步骤排查问题：

查看更多 →

获取OBS中对象URL OBS服务简介 对象存储服务 （Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。 创建OBS桶 登录对象存储服务控制台。 左侧导航栏选择“桶列表”，在右上角选择“创建桶”。按下图配置完成OBS桶的创建。

查看更多 →

通过Nginx反向代理访问OBS 应用场景 一般情况下，用户会通过OBS提供的桶访问 域名 （例如https://bucketname.obs.cn-north-4.myhuaweicloud.com）或者绑定的自定义域名来访问OBS。 但在某些场景下，用户需要通过固定的IP地址访问

查看更多 →

配置Hive通过IAM委托访问OBS 参考配置 MRS 集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Hive客户端创建Location为OBS路径的表。 建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source

查看更多 →

配置Spark通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Spark客户端创建Location为OBS路径的表。 集群安装后使用spark beeline 登录 FusionInsight Manager，选择“集群 > 服务 >

查看更多 →

组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如，执行以下命令访问“mrs-word001”并行文件系统，返回文件列表即表示访问OBS成功，如图1所示： hadoop

查看更多 →

配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后，可在Sqoop客户端导入关系型数据库的表到OBS中，或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads

查看更多 →

E CS 上使用obsutil通过内网访问OBS obsutil是适用于Windows、macOS和Linux操作系统的命令行工具，支持通过配置内网 DNS服务器地址 的方式，使在华为云上的Linux ECS通过内网直接访问OBS，下面将介绍其具体操作流程和操作步骤。 obsutil需通

查看更多 →

即可访问文件，不用再使用access-token进行鉴权。 通过服务编排调用连接器 OBS连接器创建完成后，支持在服务编排中调用该连接器，实现与OBS的对接。用户也可以在脚本中调用连接器，实现与OBS的对接。 参考如何开发服务编排中操作，创建一个空白服务编排。 图6 添加服务编排

查看更多 →

HDFS访问OBS 功能简介 访问OBS过程为： 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录，并确保访问用户具有对应目录的访问操作权限。

查看更多 →

t前面，形成三级域名形式，又称为 虚拟主机 访问域名。 通过内网访问OBS 通过内网访问OBS主要指通过服务之间的内部通信网络访问OBS。通过内网访问OBS产生的流入流量（数据上传到OBS等写操作）和流出流量（下载OBS数据等读操作）都是免费的。 例如在弹性云 服务器 （Elastic Cloud

查看更多 →

OBS数据访问 在ECS上通过内网访问OBS 通过Nginx反向代理访问OBS

查看更多 →

在ECS上通过内网访问OBS 在ECS上通过内网访问OBS方案概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS 父主题： OBS数据访问

查看更多 →

配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env

查看更多 →

通过URL访问对象失败 本案例主要介绍对象URL无法访问的场景。如果您的问题是对象URL只能下载，而不能在线预览，请参考如何在浏览器中在线预览OBS中的对象？解决。 如果您是对象的拥有者，不能通过URL访问对象，请检查如下内容： 如果您是自定义对象的URL，请检查对象URL中是否

查看更多 →

OBS对象存储配置 在系统管理后台，可将从华为云obs对象存储中获取的配置信息填写文本框中， 保存后可设置其为主用文件存储服务 图1 OBS对象存储配置 父主题： 实施步骤

查看更多 →

在ECS上通过内网访问OBS 概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS

查看更多 →