Spark接口介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python接口介绍 Spark REST API接口介绍 Spark ThriftServer接口介绍 Spark常用命令介绍 父主题： Spark应用开发常见问题

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

18 def submit_spark_batch_job(dli_client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name

查看更多 →

用于解决单个 云服务器 实例挂载的弹性网卡超出上限，不满足用户使用需要的问题。 详细内容，请参见辅助弹性网卡。 独享型实例和共享型实例 表6 独享型实例和共享型实例的区别 维度 独享型实例 共享型实例 CPU分配策略 当前实例独享CPU，实例间无CPU资源争抢。 多实例共享CPU，实例间可能出现CPU资源争抢。

查看更多 →

org.apache.spark.SparkContext // RDD操作时引入的类。 import org.apache.spark.SparkContext._ // 创建SparkConf时引入的类。 import org.apache.spark.SparkConf 分布式模

查看更多 →

在对性能要求比较高的场景下，可以使用Kryo优化序列化性能 Spark提供了两种序列化实现： org.apache.spark.serializer.KryoSerializer：性能好，兼容性差 org.apache.spark.serializer.JavaSerializer：性能一般，兼容性好

查看更多 →

荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分类，Spark的API接口如表1所示。 表1 Spark API接口 接口类型 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark

查看更多 →

Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JD BCS erver接口介绍 父主题： Spark应用开发常见问题

查看更多 →

调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题： Spark2x开发指南（普通模式）

查看更多 →

Spark常用API介绍 Spark Java API接口介绍 Spark scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDB CS erver接口介绍 父主题： Spark应用开发常见问题

查看更多 →

Spark Python接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类

查看更多 →

Spark应用开发概述 Spark应用开发简介 Spark应用开发常用概念 Spark应用开发流程介绍 父主题： Spark开发指南

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →

Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题： Spark应用开发常见问题

查看更多 →

Spark2x Spark2x jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能互相序列化ID不一样，建议使用集群自带jar包。

查看更多 →

Spark作业相关问题 使用咨询 作业开发 作业运维报错 运维指导

查看更多 →

Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark/Spark2x

查看更多 →

false”，并重启对应的实例。 客户端作业： 客户端应用在提交应用的时候，修改spark-defaults.conf配置文件的“spark.authenticate.enableSaslEncryption”值为“false”。 父主题： Spark2x常见问题

查看更多 →

表的大小。首先在Spark的配置文件“hive-site.xml”中，查看Hive的数据库路径的配置，默认为“/user/hive/warehouse”。Spark服务多实例默认数据库路径为“/user/hive/warehouse”，例如“/user/hive1/warehouse”。

查看更多 →

Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去

查看更多 →

配置Spark SQL防御 操作场景 用户可以在Manager界面配置Spark的SQL防御规则，根据业务调整对应SQL防御规则的参数。 前提条件 已安装包含Spark服务的集群客户端，安装目录如“/opt/hadoopclient”。 Spark服务运行状态正常。 在租户资源中

查看更多 →