准备Spark应用开发环境 Spark应用开发环境简介 准备Spark应用开发用户 准备Spark应用Java开发环境 准备Spark应用Scala开发环境 准备Spark应用Python开发环境 准备Spark应用运行环境 导入并配置Spark样例工程 新建Spark应用开发工程（可选）

查看更多 →

Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出

查看更多 →

准备Spark应用开发环境 准备Spark本地应用开发环境 准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark应用安全认证 配置Spark Python3样例工程 父主题： Spark2x开发指南（安全模式）

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制

查看更多 →

准备Spark应用开发环境 准备Spark本地应用开发环境 配置Spark应用安全认证 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark Python3样例工程 父主题： Spark2x开发指南（安全模式）

查看更多 →

准备Spark应用开发环境 准备本地应用开发环境 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark Python3样例工程 父主题： Spark2x开发指南（普通模式）

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败

查看更多 →

案例：选择合适的分布列 现象描述 表定义如下： 1 2 CREATE TABLE t1 (a int, b int); CREATE TABLE t2 (a int, b int); 执行如下查询： 1 SELECT * FROM t1, t2 WHERE t1.a = t2.b;

查看更多 →

案例：建立合适的索引 现象描述 查询与销售部所有员工的信息： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 --建表 CREATE TABLE staffs (staff_id NUMBER(6)

查看更多 →

案例：建立合适的索引 现象描述 查询与销售部所有员工的信息： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 --建表 CREATE TABLE staffs (staff_id NUMBER(6)

查看更多 →

案例：建立合适的索引 现象描述 查询所有员工的信息： 1 2 3 4 5 6 7 SELECT staff_id,first_name,last_name,employment_id,state_name,city FROM staffs,sections,states,places

查看更多 →

作业开发类 如何准备 MRS 的数据源？ MRS集群支持提交哪些形式的Spark作业？ MRS集群的租户资源最小值改为0后，只能同时运行一个Spark任务吗？ 作业提交参数间用空格隔开导致参数信息不被识别如何处理？ Spark作业的Client模式和Cluster模式有什么区别？ 如何查看MRS作业的日志？

查看更多 →

Spark应用开发环境简介 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装JDK 开发环境的基本配置。版本要求：1.7或者1.8。 说明： 基于安全考虑，MRS 服务端只支持TLS

查看更多 →

新建Spark应用开发工程（可选） 操作场景 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具，选择“Create New Project”。 图1 创建工程 在“New Proje

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制

查看更多 →

准备Spark应用开发环境 准备Spark本地应用开发环境 准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark Python3样例工程 父主题： Spark2x开发指南（普通模式）

查看更多 →

alse”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令 假设用例代码打包后的jar包名为spark-hbaseContext-test-1.0.jar，并将jar包放在客户端“$SPARK_HOME”目录下，以下命

查看更多 →

alse”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令 假设用例代码打包后的jar包名为spark-hbaseContext-test-1.0.jar，并将jar包放在客户端“$SPARK_HOME”目录下，以下命

查看更多 →

alse”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令 假设用例代码打包后的jar包名为spark-hbaseContext-test-1.0.jar，并将jar包放在客户端“$SPARK_HOME”目录下，以下命

查看更多 →

alse”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令 假设用例代码打包后的jar包名为spark-hbaseContext-test-1.0.jar，并将jar包放在客户端“$SPARK_HOME”目录下，以下命

查看更多 →