DLI 如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《 数据湖探索 SQL语法参考》。 添加分区。 具体语法请参考《 数据湖 探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。

查看更多 →

添加OBS的Ranger访问权限策略 操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于 MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。 已安装Guardian服务。

查看更多 →

-bucket”）。 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。 默认取值： 无 objectKey String 可选 参数解释： 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。 例如，您对象的访问地址为examplebucket

查看更多 →

IAM权限的实现机制如下： 创建用户组，为用户组设定IAM权限集。 创建IAM用户，用户加入用户组以获取相关的权限。 桶策略 桶策略是作用于所配置的OBS桶及桶内对象的。OBS桶拥有者通过桶策略可为IAM用户或其他账号授权桶及桶内对象的操作权限。 访问控制列表 (ACL) ACL是

查看更多 →

kinit 用户名 在spark-sql中访问OBS，例如在“obs://mrs-word001/table/”目录中创建表“test”。 进入spark bin目录：cd 客户端安装目录/Spark2x/spark/bin，执行./spark-sql登录spark-sql命令行。

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

表1 OBS上传对象的不同访问方式 访问方式 上传对象方法 控制台 通过控制台上传对象 OBS Browser+ 通过OBS Browser+上传对象 obsutil 通过obsutil上传对象 SDK 使用SDK上传对象 ，具体参考各语言开发指南的上传对象章节 API PUT上传 、POST上传

查看更多 →

作业运维报错 运行Spark作业报java.lang.AbstractMethodError Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 有访问OBS对应的桶的权限，但是Spark作业访问时报错 verifyBucketExists

查看更多 →

使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常 Spark作业不支持访问sftp，建议将文件数据上传到OBS，再通过Spark作业进行读取和分析。 Spark读取OBS文件数据，详见使用Spark Jar作业读取和查询OBS数据。 父主题： 作业运维报错

查看更多 →

获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JD BCS erver连接的超时时间

查看更多 →

JDBC驱动。获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDB CS erver连接的超时时间

查看更多 →

获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间

查看更多 →

er新建连接则需要重新认证，否则就会执行失败。因此，若长期执行应用过程中需要新建连接，用户需要在“url”中添加user.principal和user.keytab认证信息，以保证每次建立连接时认证成功，例如，“url”中需要加上“user.principal=sparkuser;user

查看更多 →

属用户组”。 在“用户组”页面，搜索该用户的所属用户组，在用户组的操作列，单击“权限配置”，查看已经授予的IAM权限。 桶策略检查方法 使用资源拥有者账号登录华为云，在右上角单击“控制台”。 在服务列表中选择“存储 > 对象存储服务 OBS”。 在“对象存储”的桶列表中搜索访问失败的桶，单击桶名称，进入“对象”页面。

查看更多 →

hadoop.fs.obs.OBSFileSystem spark.hadoop.fs.AbstractFileSystem.obs.impl=org.apache.hadoop.fs.obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei

查看更多 →

本操作介绍获取Flink作业委托临时凭证的操作方法。 Spark作业场景 Spark Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Spark Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Spark作业委托临时凭证 本操作介绍获取Spark Jar作业委托临时凭证的操作方法。

查看更多 →

允许DLI读写OBS将日志转储 自定义 DLI Flink作业下载OBS对象、OBS/DWS数据源（外表）、日志转储、使用savepoint、开启checkpoint，DLI Spark作业下载OBS对象、读写OBS外表。 访问和使用OBS的权限策略 允许DLI在访问DEW获取数据访问凭证

查看更多 →

访问OBS 域名 失败，连接不上CA证书 在证书不受信的情况下，访问OBS域名会失败，需要重新获取OBS证书并将其导入客户端信任库。 获取OBS证书（以Chrome浏览器为例）。 在浏览器中访问OBS域名：https://obs.myhuaweicloud.com。 单击域名左侧的，选择“证书”。

查看更多 →

在使用Spark2.3.x访问元数据时，DataSource语法创建avro类型的OBS表创建失败 问题描述 使用Spark访问元数据时，DataSource语法创建avro类型的OBS表创建失败。 图1 avro类型的OBS创建失败 根因分析 当前Spark2.3.x不支持创建avro类型的OBS表，Spark2

查看更多 →

er新建连接则需要重新认证，否则就会执行失败。因此，若长期执行应用过程中需要新建连接，用户需要在“url”中添加user.principal和user.keytab认证信息，以保证每次建立连接时认证成功，例如，“url”中需要加上“user.principal=sparkuser;user

查看更多 →

er新建连接则需要重新认证，否则就会执行失败。因此，若长期执行应用过程中需要新建连接，用户需要在“url”中添加user.principal和user.keytab认证信息，以保证每次建立连接时认证成功，例如，“url”中需要加上“user.principal=sparkuser;user

查看更多 →