调测Spark应用 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题： Spark2x开发指南（普通模式）

查看更多 →

服务单状态是“已取消”是什么意思？ 创建磁盘方式的服务单，但用户还未寄送磁盘到华为数据中心，即服务单状态为“待寄送磁盘”时可取消服务单，此时服务单状态将变为“已取消”。 创建Teleport方式的服务单，状态显示“服务单审核中”时可取消服务单，此时服务单状态将变为“已取消”。 父主题：

查看更多 →

会控里添加与会人搜不到企业下的用户？ 管理员如何查看或操作其他人的会议？ 会控中系统自动多画面是什么？ 会控中的多画面设置是什么意思，怎么操作？ 会控中的主持人轮询是什么意思？ 会议中为什么不能录制？ 会议结束后，打开录播的文件为什么提示“文件正在转码”？ 会议中与会人数对录播的文件大小有影响吗？

查看更多 →

云专线中的网络互联IP地址是什么意思？ 本端网关，指华为云侧网络接口互联的IP地址，即华为云和客户线下机房对接时华为云侧设备接口的对接地址，配置后会自动下发到华为云侧网关设备。 远端网关，指客户本地数据中心侧网络互联的IP地址，即华为云和客户线下机房对接时客户线下设备接口的对接地

查看更多 →

云专线中的网络互联IP地址是什么意思？ 本端网关，指华为云侧网络接口互联的IP地址，即华为云和客户线下机房对接时华为云侧设备接口的对接地址，配置后会自动下发到华为云侧网关设备。 远端网关，指客户本地数据中心侧网络互联的IP地址，即华为云和客户线下机房对接时客户线下设备接口的对接地

查看更多 →

服务单状态是“待寄送磁盘”是什么意思？ 选择磁盘方式创建服务单，当服务单已完成创建后，服务单状态将变为“待寄送磁盘”。此时您需要将待传输的数据存放入磁盘中并将磁盘寄出。 如果您已经寄出磁盘，请耐心等待，当华为数据中心接收到磁盘，管理员将磁盘挂载完成后，服务单状态将发生改变。 父主题：

查看更多 →

Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去

查看更多 →

Spark作业开发类 Spark作业使用咨询 Spark如何将数据写入到 DLI 表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？

查看更多 →

DeprecatedConfigParameter, ReflectionUtil} import org.apache.spark.{SparkConf, SparkEnv, SparkFiles} import org.slf4j.LoggerFactory import scala.jdk

查看更多 →

org.apache.spark.SparkContext // RDD操作时引入的类。 import org.apache.spark.SparkContext._ // 创建SparkConf时引入的类。 import org.apache.spark.SparkConf 分布式模

查看更多 →

在对性能要求比较高的场景下，可以使用Kryo优化序列化性能 Spark提供了两种序列化实现： org.apache.spark.serializer.KryoSerializer：性能好，兼容性差 org.apache.spark.serializer.JavaSerializer：性能一般，兼容性好

查看更多 →

Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JD BCS erver接口介绍 父主题： Spark应用开发常见问题

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →

Spark2x Spark2x jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能互相序列化ID不一样，建议使用集群自带jar包。

查看更多 →

提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →

Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDB CS erver接口介绍 父主题： Spark应用开发常见问题

查看更多 →

调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题： Spark2x开发指南（普通模式）

查看更多 →

Spark常用API介绍 Spark Java API接口介绍 Spark scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题： Spark应用开发常见问题

查看更多 →

Spark应用开发概述 Spark应用开发简介 Spark应用开发常用概念 Spark应用开发流程介绍 父主题： Spark开发指南

查看更多 →

Spark Python接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类

查看更多 →

Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该： 登录 FusionInsight Manager管理界面，修改JDBCServer的参数“spark.authenticate.enableSaslEncryp

查看更多 →