SPARK_HOME=/opt/spark-2.3.3 export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置：

查看更多 →

访问OBS 操作场景 虚拟专用网络 、云专线线下节点通过终端节点高速访问OBS。 仅“拉美-墨西哥城一”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域支持通过控制台直接选择“网关”类型的OBS终端节点服务，因此本场景仅适用于这些区域。 其他区域的“网关”类型的OBS终端节点服务目前需

查看更多 →

访问OBS 功能简介 访问OBS过程为： 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录，并确保访问用户具有对应目录的访问操作权限。

查看更多 →

Spark Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI 将Spark Jar作业并的输出数据写入到OBS时，需要配置AKSK访问OBS，为了确保AKSK数据安全，您可以用过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud

查看更多 →

Spark on OBS调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics.switch

查看更多 →

Spark组件对接OBS 对接OBS MRS 集群支持Spark服务在创建表时指定Location为OBS文件系统路径，也支持基于Hive Metastore方式对接OBS。 建表时指定Location为OBS路径： 以客户端安装用户登录安装客户端的节点，并进入spark-sql客户端：

查看更多 →

Spark作业访问OBS报错“requestId=XXX”如何处理？ 问题现象 Spark作业访问OBS报错：requestId=4971883851071737250 解决方法 登录Spark客户端节点，进入conf目录，修改配置文件“core-site.xml”中的“fs.obs

查看更多 →

临时授权访问OBS 场景介绍 本案例介绍如何使用临时访问密钥（临时AK/SK和securitytoken），通过临时授权的方式访问OBS。 假设您希望IAM用户（用户名：APPServer）可以访问桶hi-company的APPClient文件夹，并希望申请到两个不同的临时访问密钥分

查看更多 →

务进行访问。 图1 OBS授权 不支持跨区域OBS，OBS的区域需要和服务保持一致。 开启公共读授权 若需要开启公共读授权，可以参见《 对象存储服务 控制台指南》“权限控制”章节中的相关内容，完成桶的ACL权限配置。完成设置，在OBS服务上传完相应的文件后，即可通过URL访问OBS上

查看更多 →

配置OBS访问权限 OBS服务 OBS全称Object Stroage Service（对象存储服务），提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。 EI企业智能服务对于图片、语音等多媒体文件支持直接使用华为云OBS服务的数据处理方式，以减少服

查看更多 →

配置OBS访问权限 OBS服务 OBS全称Object Storage Service（对象存储服务），提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。 EI企业智能服务对于图片、语音等多媒体文件支持直接使用华为云OBS服务的数据处理方式，以减少服

查看更多 →

<endpoint>/<object-name>）对服务进行访问。如果未对服务授权，则无法直接获取到用户数据，需要用户开启公共读授权或者提供一个临时授权的URL。 对服务授权 如果您需要使用OBS中的数据，请开通对象存储服务OBS授权。登录管理控制台，进入“服务管理”页面。打开对象存储服务OBS授权的按钮，完成授

查看更多 →

<endpoint>/<object-name>）对服务进行访问。若未对服务授权，则无法直接获取到用户数据，需要用户开启公共读授权或者提供一个临时授权的URL。 对 文字识别 服务开启授权 如果您需要使用OBS中的数据，请开通对象存储服务OBS授权。进入文字识别控制台。打开对象存储服务OBS授权的按钮，完成授权操

查看更多 →

配置OBS访问权限 OBS服务 OBS全称Object Stroage Service（对象存储服务），提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。 宫颈癌细胞病理筛查API支持直接使用华为云OBS服务进行数据的存储，以减少服务使用成本，降低服务的响应时长，提升服务使用的体验。

查看更多 →

访问Spark Web UI界面 Spark Web UI界面主要用于查看Spark应用程序运行情况，推荐使用Google chrome浏览器以获得更好的体验。 Spark主要有两个Web页面。 Spark UI页面，用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、S

查看更多 →

的临时访问密钥并返回给用户 服务器 。 用户服务器将临时访问密钥分发给对应权限的终端APP。 终端APP可通过临时访问密钥使用OBS SDK或API访问OBS服务，因临时凭据的有效时间较短，终端APP需及时向用户服务器请求更新临时访问密钥。 配置示例 请参见临时授权访问OBS。 父主题：

查看更多 →

通过永久访问密钥访问OBS OBS的REST接口既支持认证请求，也支持匿名请求。匿名请求通常仅用于需要公开访问的场景，例如静态网站托管。除此之外，绝大多数场景是需要经过认证的请求才可以访问成功。经过认证的请求总是需要包含一个签名值，该签名值以请求者的访问密钥（AK/SK）作为加密

查看更多 →

网关的OBS路由。 连接OBS服务的终端节点的IP地址网段为100.125.0.0/16，为了通过VPN或者云专线访问OBS，需要将用户本地数据中心节点访问OBS服务的流量指向用户本地数据中心节点的专线网关或者VPN网关。 在用户本地数据中心节点配置永久路由，指定访问OBS的流量

查看更多 →

使用MRS Spark SQL访问DWS 华为云提供 MapReduce服务 （MRS），可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件，专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark SQL语言，用于对结构化数据进行操作。使用Spark

查看更多 →

通过IAM委托访问OBS IAM委托为统一身份认证服务IAM的功能特性，OBS在部分使用场景中（如CDN私有桶回源、跨区域复制），需要使用IAM委托功能，授予其他用户或云服务OBS的访问权限，替委托方管理OBS资源，实现安全高效的代维工作。 关于IAM委托的相关介绍，请参考《统一身份认证服务用户指南》。

查看更多 →

通过 CDN加速 访问OBS 概述 通过CDN加速OBS视频点播

查看更多 →