Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制

查看更多 →

Application的结构 Spark Application的结构可分为两部分：初始化SparkContext和主体程序。 初始化SparkContext：构建Spark Application的运行环境。 构建SparkContext对象，如： new SparkContext(master

查看更多 →

准备Spark应用开发环境 Spark应用开发环境简介 准备Spark应用开发用户 准备Spark应用Java开发环境 准备Spark应用Scala开发环境 准备Spark应用Python开发环境 准备Spark应用运行环境 导入并配置Spark样例工程 新建Spark应用开发工程（可选）

查看更多 →

Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出

查看更多 →

案例：建立合适的索引 现象描述 查询与销售部所有员工的信息： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 --建表 CREATE TABLE staffs (staff_id NUMBER(6)

查看更多 →

查询合适的缩容数 功能介绍 该接口用于查询合适的缩容数。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/clusters/{cluster_id}/shrink-numbers 表1 路径参数 参数 是否必选 参数类型 描述 project_id

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败

查看更多 →

准备Spark应用开发环境 准备Spark本地应用开发环境 配置Spark应用安全认证 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark Python3样例工程 父主题： Spark2x开发指南（安全模式）

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败

查看更多 →

准备Spark应用开发环境 准备本地应用开发环境 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark Python3样例工程 父主题： Spark2x开发指南（普通模式）

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制

查看更多 →

准备Spark应用开发环境 准备Spark本地应用开发环境 准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark Python3样例工程 父主题： Spark2x开发指南（普通模式）

查看更多 →

Spark应用开发环境简介 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装JDK 开发环境的基本配置。版本要求：1.7或者1.8。 说明： 基于安全考虑， MRS 服务端只支持TLS

查看更多 →

新建Spark应用开发工程（可选） 操作场景 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具，选择“Create New Project”。 图1 创建工程 在“New Proje

查看更多 →

Java函数开发指南（使用IDEA工具普通Java项目） 开发Java函数，以下给出Demo示例步骤： 创建函数工程 配置idea，创建java工程JavaTest，如图创建工程所示 图1 创建工程 添加工程依赖 根据Java SDK下载提供的SDK地址，下载JavaRuntime

查看更多 →

alse”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令 假设用例代码打包后的jar包名为spark-hbaseContext-test-1.0.jar，并将jar包放在客户端“$SPARK_HOME”目录下，以下命

查看更多 →

alse”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令 假设用例代码打包后的jar包名为spark-hbaseContext-test-1.0.jar，并将jar包放在客户端“$SPARK_HOME”目录下，以下命

查看更多 →

Spark Structured Streaming样例程序（Java） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com

查看更多 →

args[1]; SparkConf sparkConf = HoodieExampleSparkUtils.defaultSparkConf("hoodie-client-example"); JavaSparkContext jsc = new JavaSparkContext(sparkConf);

查看更多 →

通过JDBC访问Spark SQL样例程序（Java） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： ArrayList<String> sqlList = new ArrayList<String>();

查看更多 →

Spark Structured Streaming样例程序（Java） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com

查看更多 →