配置Spark通过Guardian访问OBS 对接OBS MRS 集群支持Spark服务在创建表时指定Location为OBS文件系统路径，也支持基于Hive Metastore方式对接OBS。 建表时指定Location为OBS路径： 以客户端安装用户登录安装客户端的节点，并进入spark-sql客户端：

查看更多 →

kinit 用户名 在spark-sql中访问OBS，例如在“obs://mrs-word001/table/”目录中创建表“test”。 进入spark bin目录：cd 客户端安装目录/Spark2x/spark/bin，执行./spark-sql登录spark-sql命令行。

查看更多 →

访问OBS 操作场景 虚拟专用网络 、云专线线下节点通过终端节点高速访问OBS。 仅“拉美-墨西哥城一”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域支持通过控制台直接选择“网关”类型的OBS终端节点服务，因此本场景仅适用于这些区域。 其他区域的“网关”类型的OBS终端节点服务目前需

查看更多 →

SPARK_HOME=/opt/spark-2.3.3 export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置：

查看更多 →

Spark Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI 将Spark Jar作业并的输出数据写入到OBS时，需要配置AKSK访问OBS，为了确保AKSK数据安全，您可以用过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud

查看更多 →

OBS数据访问 在E CS 上通过内网访问OBS 通过Nginx反向代理访问OBS

查看更多 →

HDFS访问OBS 功能简介 访问OBS过程为： 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录，并确保访问用户具有对应目录的访问操作权限。

查看更多 →

级 域名 形式，又称为 虚拟主机 访问域名。 通过内网访问OBS 通过内网访问OBS主要指通过华为云服务之间的内部通信网络访问OBS。通过内网访问OBS产生的流入流量（数据上传到OBS等写操作）和流出流量（下载OBS数据等读操作）都是免费的。 例如在弹性云 服务器 （Elastic Cloud

查看更多 →

Spark作业访问OBS报错“requestId=XXX”如何处理？ 问题现象 Spark作业访问OBS报错：requestId=4971883851071737250 解决方法 登录Spark客户端节点，进入conf目录，修改配置文件“core-site.xml”中的“fs.obs

查看更多 →

配置OBS访问权限 OBS服务 OBS全称Object Stroage Service（ 对象存储服务 ），提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。 宫颈癌细胞病理筛查API支持直接使用华为云OBS服务进行数据的存储，以减少服务使用成本，降低服务的响应时长，提升服务使用的体验。

查看更多 →

配置OBS访问权限 OBS服务 OBS全称Object Stroage Service（对象存储服务），提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。 EI企业智能服务对于图片、语音等多媒体文件支持直接使用华为云OBS服务的数据处理方式，以减少服

查看更多 →

<endpoint>/<object-name>）对服务进行访问。若未对服务授权，则无法直接获取到用户数据，需要用户开启公共读授权或者提供一个临时授权的URL。 对服务授权 如果您需要使用OBS中的数据，请开通对象存储服务OBS授权。登录管理控制台，进入“服务管理”页面。打开对象存储服务OBS授权的按钮，完成授权

查看更多 →

临时授权访问OBS 场景介绍 本案例介绍如何使用临时访问密钥（临时AK/SK和securitytoken），通过临时授权的方式访问OBS。 假设您希望IAM用户（用户名：APPServer）可以访问桶hi-company的APPClient文件夹，并希望申请到两个不同的临时访问密钥分

查看更多 →

配置OBS访问权限 OBS服务 OBS全称Object Storage Service（对象存储服务），提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。 EI企业智能服务对于图片、语音等多媒体文件支持直接使用华为云OBS服务的数据处理方式，以减少服

查看更多 →

<endpoint>/<object-name>）对服务进行访问。如果未对服务授权，则无法直接获取到用户数据，需要用户开启公共读授权或者提供一个临时授权的URL。 对服务授权 如果您需要使用OBS中的数据，请开通对象存储服务OBS授权。登录管理控制台，进入“服务管理”页面。打开对象存储服务OBS授权的按钮，完成授

查看更多 →

<endpoint>/<object-name>）对服务进行访问。若未对服务授权，则无法直接获取到用户数据，需要用户开启公共读授权或者提供一个临时授权的URL。 对 文字识别 服务开启授权 如果您需要使用OBS中的数据，请开通对象存储服务OBS授权。进入文字识别控制台。打开对象存储服务OBS授权的按钮，完成授权操

查看更多 →

通过永久访问密钥访问OBS OBS的REST接口既支持认证请求，也支持匿名请求。匿名请求通常仅用于需要公开访问的场景，例如静态网站托管。除此之外，绝大多数场景是需要经过认证的请求才可以访问成功。经过认证的请求总是需要包含一个签名值，该签名值以请求者的访问密钥（AK/SK）作为加密

查看更多 →

的临时访问密钥并返回给用户服务器。 用户服务器将临时访问密钥分发给对应权限的终端APP。 终端APP可通过临时访问密钥使用OBS SDK或API访问OBS服务，因临时凭据的有效时间较短，终端APP需及时向用户服务器请求更新临时访问密钥。 配置示例 请参见临时授权访问OBS。 父主题：

查看更多 →

Spark on OBS性能调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics

查看更多 →

0.125.0.0/16，为了通过VPN或者云专线访问OBS，需要将用户本地数据中心节点访问OBS服务的流量指向用户本地数据中心节点的专线网关或者VPN网关。 在用户本地数据中心节点配置永久路由，指定访问OBS的流量下一跳为用户本地数据中心节点专线网关或者VPN网关的IP地址。 route

查看更多 →

华为云OBS 华为云OBS提供了obsutil工具来解冻归档对象，支持批量解冻。 obsutil工具支持Windows、Linux和macOS等操作系统，您可以根据实际情况下载和安装合适的版本。 操作步骤 下载并安装obsutil。 解冻归档存储对象。 解冻完成后，参考华为云OB

查看更多 →