location "obs://test-bucket/test_obs"; Spark访问OBS 由于SparkSQL依赖Hive，所以在Spark上配置OBS时，需要同时修改Hive访问OBS的OBS配置。 MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务

查看更多 →

属用户组”。 在“用户组”页面，搜索该用户的所属用户组，在用户组的操作列，单击“权限配置”，查看已经授予的IAM权限。 桶策略检查方法 使用资源拥有者账号登录华为云，在右上角单击“控制台”。 在服务列表中选择“存储 > 对象存储服务 OBS”。 在“对象存储”的桶列表中搜索访问失败的桶，单击桶名称，进入“对象”页面。

查看更多 →

据恢复等内容。 Hadoop数据迁移到华为云MRS服务 本实践使用华为云CDM服务将Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 HBase数据迁移到华为云MRS服务 本实践使用华为云CDM服务将HBase集群中的数据（支持数据量在

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。

查看更多 →

my 下载OBS Browser+ OBS Browser+下载地址及具体操作请参见下载OBS Browser+。 登录OBS Browser+ 由于OBS Browser+默认使用公网访问OBS，因此在登录OBS Browser+添加账号时，“服务提供商”和“服务器地址”需要按照以下要求填写：

查看更多 →

DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。

查看更多 →

添加OBS的Ranger访问权限策略 操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。 已安装Guardian服务。

查看更多 →

作业运维报错 运行Spark作业报java.lang.AbstractMethodError Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 有访问OBS对应的桶的权限，但是Spark作业访问时报错 verifyBucketExists

查看更多 →

使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常 Spark作业不支持访问sftp，建议将文件数据上传到OBS，再通过Spark作业进行读取和分析。 Spark读取OBS文件数据，详见使用Spark Jar作业读取和查询OBS数据。 父主题： 作业运维报错

查看更多 →

华为云OBS之间迁移教程 背景信息 准备工作 创建迁移任务 创建迁移任务组 父主题： 各云服务商迁移教程

查看更多 →

本操作介绍获取Flink作业委托临时凭证的操作方法。 Spark作业场景 Spark Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Spark Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Spark作业委托临时凭证 本操作介绍获取Spark Jar作业委托临时凭证的操作方法。

查看更多 →

Spark2x无法访问Spark1.5创建的DataSource表 问题 在Spark2x中访问Spark1.5创建的DataSource表时，报无法获取schema信息，导致无法访问表。 回答 原因分析： 这是由于Spark2x与Spark1.5存储DataSoure表信息的格式不一致导致的。Spark1

查看更多 →

hadoop.fs.obs.OBSFileSystem spark.hadoop.fs.AbstractFileSystem.obs.impl=org.apache.hadoop.fs.obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei

查看更多 →

关闭Kerberos认证。 用户名 Manager管理员用户，目前默认为admin用户。 密码 配置Manager管理员用户的密码。 确认密码 再次输入Manager管理员用户的密码。 登录方式 选择“密码”。 用户名 用于登录弹性云服务器的用户，目前默认为root用户。 密码 配置登录ECS的用户密码。

查看更多 →

在使用Spark2.3.x访问元数据时，DataSource语法创建avro类型的OBS表创建失败 问题描述 使用Spark访问元数据时，DataSource语法创建avro类型的OBS表创建失败。 图1 avro类型的OBS创建失败 根因分析 当前Spark2.3.x不支持创建avro类型的OBS表，Spark2

查看更多 →

允许DLI读写OBS将日志转储 自定义 DLI Flink作业下载OBS对象、OBS/DWS数据源（外表）、日志转储、使用savepoint、开启checkpoint，DLI Spark作业下载OBS对象、读写OBS外表。 访问和使用OBS的权限策略 允许DLI在访问DEW获取数据访问凭证

查看更多 →

Spark2x无法访问Spark1.5创建的DataSource表 问题 在Spark2x中访问Spark1.5创建的DataSource表时，报无法获取schema信息，导致无法访问表。 回答 原因分析： 这是由于Spark2x与Spark1.5存储DataSoure表信息的格式不一致导致的。Spark1

查看更多 →

表1 OBS上传对象的不同访问方式 访问方式 上传对象方法 控制台 通过控制台上传对象 OBS Browser+ 通过OBS Browser+上传对象 obsutil 通过obsutil上传对象 SDK 使用SDK上传对象 ，具体参考各语言开发指南的上传对象章节 API PUT上传 、POST上传

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。

查看更多 →

Spark2x如何访问外部集群组件 对同一目录创建多个外表，可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 父主题：

查看更多 →

SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 问：SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 答：当用户提交作业需要读写OBS时，提交作业程序会默认为用户添加访问OBS的临时accesskey和secr

查看更多 →