Spark on OBS性能调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics

查看更多 →

通过临时URL访问OBS 您可以通过临时URL访问OBS，对桶或对象进行创建桶、上传对象和下载对象等操作，详细示例可参考使用URL进行授权访问。本章节主要详细介绍如何通过临时URL分享对象。 分享对象 OBS提供分享功能，将存放在OBS中对象（文件或文件夹）限时分享给所有用户。 文件分享

查看更多 →

，但一般情况下文件只存储在一个区域，不同区域的用户访问OBS的响应速度存在差异。在需要频繁访问的场景下，直接访问OBS来获取相应文件，还会消耗大量的流量费用。 图1 从OBS获取数据过程 方案说明 OBS提供低成本的存储，华为云CDN可以提供网站加速、文件下载加速和点播加速。将数

查看更多 →

明E CS 访问此OBS桶为内网访问。 OBS桶的全局 域名 格式为：桶名.obs.myhuaweicloud.com 例如在华北-北京四的ECS上，执行ping example-bucket.obs.myhuaweicloud.com。 图1 响应信息 父主题： 产品咨询

查看更多 →

配置HetuEngine通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在HetuEngine客户端创建指定Location为OBS文件系统路径的表，也支持基于Hive Metastore方式对接OBS。 HetuEngine对接OBS MRS 集群支

查看更多 →

SparkStreaming作业运行后报OBS访问403如何处理？ 问： SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 答： 当用户提交作业需要读写OBS时，提交作业程序会默认为用户添加访问OBS的临时accesskey和secretkey，

查看更多 →

华为云OBS 华为云OBS提供了obsutil工具来解冻归档对象，支持批量解冻。 obsutil工具支持Windows、Linux和macOS等操作系统，您可以根据实际情况下载和安装合适的版本。 操作步骤 下载并安装obsutil。 解冻归档存储对象。 解冻完成后，参考华为云OB

查看更多 →

华为云OBS 对象存储服务 （Object Storage Service，OBS）提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小。包含“读取文件”和“上传文件”两个执行动作，“当有新文件上传”一个触发事件。 连接参数 华为云OBS连接器使用自定义认证，连接参数说明如表1所示。

查看更多 →

使用Spark SQL作业分析OBS数据 DLI 支持将数据存储到OBS上，后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括：创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已

查看更多 →

配置CORS实现跨域访问OBS OBS提供HTML5协议中的CORS设置，帮助用户实现跨域访问。 您可以新建CORS规则，也可以从其他桶复制已有CORS规则。 背景知识 跨域是指不同域名之间相互访问。 跨域访问是浏览器出于安全考虑而设置的一个限制，即同源策略。由于JavaScri

查看更多 →

创建hive角色 自定义用户组赋予OBS路径的读写权限 登录 FusionInsight Manager，选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组，例如，名称为“hiveobs1”，并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。

查看更多 →

配置Flink通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source

查看更多 →

Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 问题现象 Spark程序访问OBS数据时上报如下错误。 Caused by: com.obs.services.exception.ObsException:

查看更多 →

配置Hudi通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env

查看更多 →

如果集群为安全模式，执行以下命令进行用户认证，该用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。 kinit HDFS组件操作用户 在HDFS命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径

查看更多 →

如果集群为安全模式，执行以下命令进行用户认证，该用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。 kinit HDFS组件操作用户 在Yarn命令行显式添加要访问的OBS文件系统。 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径

查看更多 →

使用MRS Spark SQL访问DWS表 应用场景 华为云提供 MapReduce服务 （MRS），可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件，专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark SQL

查看更多 →

网站域名是否需要接入备案 使用华为云OBS做托管的网站： 如果源站在华为云：一级域名需要在华为云提交备案。 如果源站不在华为云： 一级域名及其子域名都不在华为云解析，此时不需要在华为云接入备案。 一级域名不在华为云，子域名在华为云解析，此时需要在华为云接入备案。 父主题： 备案场景

查看更多 →

有访问OBS对应的桶的权限，但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] 该报错信息可能是由于OBS桶被设置为了DLI日志桶，而日志桶不能用于DLI的其他业务功能。 您可以按以下操作步骤进行查询： 检查该OBS桶是否被设置为了DLI日志桶。

查看更多 →

obsutil最新版本和下载链接请参见下载obsutil。 配置obsutil 使用obsutil之前，您需要配置obsutil与OBS的对接信息，包括OBS终端节点（Endpoint）和访问密钥（AK和SK）。具体操作请参见obsutil指南的初始化配置章节。 其中OBS终端节点（Endpoint）需要根据

查看更多 →

通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →