Spark Jar作业开发指南 使用Spark Jar作业读取和查询OBS数据 使用Spark作业访问 DLI 元数据 使用Spark-submit提交Spark Jar作业 使用Livy提交Spark Jar作业 使用Spark作业跨源访问数据源

查看更多 →

hadoop.fs.obs.OBSFileSystem spark.hadoop.fs.AbstractFileSystem.obs.impl=org.apache.hadoop.fs.obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei

查看更多 →

表1 OBS上传对象的不同访问方式 访问方式 上传对象方法 控制台 通过控制台上传对象 OBS Browser+ 通过OBS Browser+上传对象 obsutil 通过obsutil上传对象 SDK 使用SDK上传对象 ，具体参考各语言开发指南的上传对象章节 API PUT上传 、POST上传

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

使用Spark 使用前须知 从零开始使用Spark 从零开始使用Spark SQL 使用Spark客户端 访问Spark Web UI界面 Spark对接OpenTSDB

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”

查看更多 →

Spark2x如何访问外部集群组件 对同一目录创建多个外表，可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 父主题：

查看更多 →

关闭Kerberos认证。 用户名 Manager管理员用户，目前默认为admin用户。 密码 配置Manager管理员用户的密码。 确认密码 再次输入Manager管理员用户的密码。 登录方式 选择“密码”。 用户名 用于登录弹性云 服务器 的用户，目前默认为root用户。 密码 配置登录E CS 的用户密码。

查看更多 →

允许DLI读写OBS将日志转储 自定义 DLI Flink作业下载OBS对象、OBS/DWS数据源（外表）、日志转储、使用savepoint、开启checkpoint，DLI Spark作业下载OBS对象、读写OBS外表。 访问和使用OBS的权限策略 允许DLI在访问DEW获取数据访问凭证

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

Spark接口 Java Scala Python REST API ThriftServer接口介绍 常用命令介绍 父主题： Spark应用开发

查看更多 →

SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 问：SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 答：当用户提交作业需要读写OBS时，提交作业程序会默认为用户添加访问OBS的临时accesskey和secr

查看更多 →

使用Spark/Spark2x Spark/Spark2x服务名称说明 基本操作 Spark2x日志介绍 获取运行中Spark应用的Container日志 小文件合并工具 Spark中使用代理用户提交Spark任务 CarbonData首查优化工具 Spark2x性能调优 Spark2x常见问题

查看更多 →

ster1中提交任务的用户。 使用cluster1的spark客户端提交应用，即可同时访问两个hdfs服务 同时访问两个集群的HBase： 修改cluster1的spark客户端conf目录下的spark-defaults.conf配置文件中，修改spark.hadoop.hbase

查看更多 →

“机机”用户请执行：kinit -kt user.keytab sparkuser “人机”用户请执行：kinit sparkuser 执行如下命令连接Spark组件的客户端。 spark-beeline 在spark-beeline中执行命令，例如在obs://mrs-word001/table/目录中创建表test。

查看更多 →

创建Spark作业 Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。

查看更多 →

Spark2x如何访问外部集群组件 对同一目录创建多个外表，可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 S

查看更多 →

配置MRS Spark Python节点属性 参数设置说明： --master yarn --deploy-mode cluster obs://obs-tongji/python/wordcount.py obs://obs-tongji/python/in.txt obs://o

查看更多 →

访问OBS域名失败，连接不上CA证书 在证书不受信的情况下，访问OBS域名会失败，需要重新获取OBS证书并将其导入客户端信任库。 获取OBS证书（以Chrome浏览器为例）。 在浏览器中访问OBS域名：https://obs.myhuaweicloud.com。 单击域名左侧的，选择“证书”。

查看更多 →