本操作介绍获取Flink作业委托临时凭证的操作方法。 Spark作业场景 Spark Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Spark Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Spark作业委托临时凭证 本操作介绍获取Spark Jar作业委托临时凭证的操作方法。

查看更多 →

获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JD BCS erver连接的超时时间

查看更多 →

JDBC驱动。获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDB CS erver连接的超时时间

查看更多 →

获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间

查看更多 →

er新建连接则需要重新认证，否则就会执行失败。因此，若长期执行应用过程中需要新建连接，用户需要在“url”中添加user.principal和user.keytab认证信息，以保证每次建立连接时认证成功，例如，“url”中需要加上“user.principal=sparkuser;user

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

hadoop.fs.obs.OBSFileSystem spark.hadoop.fs.AbstractFileSystem.obs.impl=org.apache.hadoop.fs.obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei

查看更多 →

ModelArts通过OBS的API访问OBS中的文件，算内网还是公网？ 在同一区域，ModelArts通过OBS的API访问OBS中的文件属于内网通信，不消耗公网流量费。 若是通过互联网从OBS下载数据到本地，这时候会产生OBS公网流量费。OBS的详细计费说明可以参见计费项。 父主题：

查看更多 →

JobHistory中某个应用的原生页面时页面显示错误 对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常

查看更多 →

允许 DLI 读写OBS将日志转储 自定义 DLI Flink作业下载OBS对象、OBS/DWS数据源（外表）、日志转储、使用savepoint、开启checkpoint，DLI Spark作业下载OBS对象、读写OBS外表。 访问和使用OBS的权限策略 允许DLI在访问DEW获取数据访问凭证

查看更多 →

创建Spark作业 Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面

查看更多 →

“机机”用户请执行：kinit -kt user.keytab sparkuser “人机”用户请执行：kinit sparkuser 执行如下命令连接Spark组件的客户端。 spark-beeline 在spark-beeline中执行命令，例如在obs://mrs-word001/table/目录中创建表test。

查看更多 →

_ID、OBS_SECRET_ACCESS_KEY、OBS_SECURITY_TOKEN）查找访问密钥，如果访问密钥不为空，结束查找，否则继续下一步查找。 从当前使用obsutil的ECS查找临时访问密钥，如果临时访问密钥不为空，结束查找，否则使用匿名用户访问OBS服务。 访问密

查看更多 →

2024-05-29 使用Spark作业访问DLI元数据，补充说明不同Spark版本访问元数据的示例代码。 2024-05-17 修改： 修改使用Flink Jar写入数据到OBS开发指南示例。 2024-04-07 新增： 使用Spark Jar作业读取和查询OBS数据，修改“上传Jar包到OBS和DLI下”的操作步骤。

查看更多 →

Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI将Flink Jar作业并的输出数据写入到OBS时，需要配置AKSK访问OBS，为了确保AKSK数据安全，您可以用过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud Secret

查看更多 →

使用Spark作业跨源访问数据源 概述 对接 CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题： Spark Jar作业开发指南

查看更多 →

Spark2x如何访问外部集群组件 对同一目录创建多个外表，可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 父主题：

查看更多 →

SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 问：SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 答：当用户提交作业需要读写OBS时，提交作业程序会默认为用户添加访问OBS的临时accesskey和secr

查看更多 →

OBS连接 介绍 通过OBS连接，可以对 对象存储服务 （Object Storage Service，简称OBS）抽取或加载文件，支持CSV、JSON和二进制格式。 连接样例 本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置

查看更多 →

IAM用户同步 OBS权限映射 用户通过该功能配置访问OBS权限，实现 MRS 用户对OBS桶下的目录权限控制。 例如，您只允许用户组A访问某一OBS桶中的日志文件，您可以执行以下操作来实现： 为MRS集群配置OBS访问权限的委托，实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。

查看更多 →

针对传统企业在大数据场景面临的问题，华为云提供了基于对象存储服务OBS作为统一 数据湖 存储的大数据存算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力，以及多协议共享访问技术（HDFS/POSIX/OBS API），实现Had

查看更多 →