允许 DLI 读写OBS将日志转储 自定义 DLI Flink作业下载OBS对象、OBS/DWS数据源（外表）、日志转储、使用savepoint、开启checkpoint，DLI Spark作业下载OBS对象、读写OBS外表。 访问和使用OBS的权限策略 允许DLI在访问DEW获取数据访问凭证

查看更多 →

访问OBS 域名 失败，连接不上CA证书 在证书不受信的情况下，访问OBS域名会失败，需要重新获取OBS证书并将其导入客户端信任库。 获取OBS证书（以Chrome浏览器为例）。 在浏览器中访问OBS域名：https://obs.myhuaweicloud.com。 单击域名左侧的，选择“证书”。

查看更多 →

Spark Jar作业开发指南 使用Spark Jar作业读取和查询OBS数据 使用Spark作业访问DLI元数据 使用Spark-submit提交Spark Jar作业 使用Livy提交Spark Jar作业 使用Spark作业跨源访问数据源

查看更多 →

JobHistory中某个应用的原生页面时页面显示错误 对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常

查看更多 →

使用Spark作业跨源访问数据源 概述 对接 CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题： Spark Jar作业开发指南

查看更多 →

2024-05-29 使用Spark作业访问DLI元数据，补充说明不同Spark版本访问元数据的示例代码。 2024-05-17 修改： 修改使用Flink Jar写入数据到OBS开发指南示例。 2024-04-07 新增： 使用Spark Jar作业读取和查询OBS数据，修改“上传Jar包到OBS和DLI下”的操作步骤。

查看更多 →

Spark2x如何访问外部集群组件 对同一目录创建多个外表，可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 父主题：

查看更多 →

华为云OBS之间迁移教程 背景信息 准备工作 创建迁移任务 创建迁移任务组 父主题： 各云服务商迁移教程

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

Browser+下载地址及具体操作请参见下载OBS Browser+。 登录OBS Browser+ 由于OBS Browser+默认使用公网访问OBS，因此在登录OBS Browser+时，“服务提供商”和“ 服务器 地址”需要按照以下要求填写： 服务提供商：选择“其他 对象存储服务 ”。 服务器地址：根据E CS

查看更多 →

my 下载OBS Browser+ OBS Browser+下载地址及具体操作请参见下载OBS Browser+。 登录OBS Browser+ 由于OBS Browser+默认使用公网访问OBS，因此在登录OBS Browser+添加账号时，“服务提供商”和“服务器地址”需要按照以下要求填写：

查看更多 →

ak) sparkSession.conf.set("fs.obs.secret.key", sk) sparkSession.conf.set("fs.obs.endpoint", enpoint) sparkSession.conf.set("fs.obs.connecton

查看更多 →

使用 MRS 华为云大数据技术解密 华为云大数据技术私享会资料下载 华为云EI企业智能 华为云EI基于AI和大数据技术，通过云服务的方式提供开放可信的平台。 智能客服 您好！我是有问必答知识渊博的的 智能问答机器人 ，有问题欢迎随时求助哦！ 社区求助 华为云社区是华为云用户的聚集地。这

查看更多 →

Spark2x无法访问Spark1.5创建的DataSource表 问题 在Spark2x中访问Spark1.5创建的DataSource表时，报无法获取schema信息，导致无法访问表。 回答 原因分析： 这是由于Spark2x与Spark1.5存储DataSoure表信息的格式不一致导致的。Spark1

查看更多 →

您可以通过以下多种方式将文件上传至桶，OBS最终将这些文件以对象的形式存储在桶中。 表1 OBS上传对象的不同访问方式 访问方式 上传对象方法 控制台 通过控制台上传对象 OBS Browser+ 通过OBS Browser+上传对象 obsutil 通过obsutil上传对象 SDK 使用SDK上传对象 ，具体参考各语言开发指南的上传对象章节

查看更多 →

通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JD BCS erver的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务，并至少有一个实例可连接客户端。在L

查看更多 →

SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 问：SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 答：当用户提交作业需要读写OBS时，提交作业程序会默认为用户添加访问OBS的临时accesskey和secr

查看更多 →

创建Spark作业 Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面

查看更多 →

“机机”用户请执行：kinit -kt user.keytab sparkuser “人机”用户请执行：kinit sparkuser 执行如下命令连接Spark组件的客户端。 spark-beeline 在spark-beeline中执行命令，例如在obs://mrs-word001/table/目录中创建表test。

查看更多 →

配置MRS Spark Python节点属性 参数设置说明： --master yarn --deploy-mode cluster obs://obs-tongji/python/wordcount.py obs://obs-tongji/python/in.txt obs://o

查看更多 →

_ID、OBS_SECRET_ACCESS_KEY、OBS_SECURITY_TOKEN）查找访问密钥，如果访问密钥不为空，结束查找，否则继续下一步查找。 从当前使用obsutil的ECS查找临时访问密钥，如果临时访问密钥不为空，结束查找，否则使用匿名用户访问OBS服务。 访问密

查看更多 →