准备Spark应用开发环境 准备Spark本地应用开发环境 配置Spark应用安全认证 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark Python3样例工程 父主题： Spark2x开发指南（安全模式）

查看更多 →

Application的结构 Spark Application的结构可分为两部分：初始化SparkContext和主体程序。 初始化SparkContext：构建Spark Application的运行环境。 构建SparkContext对象，如： new SparkContext(master

查看更多 →

准备Spark应用开发环境 Spark应用开发环境简介 准备Spark应用开发用户 准备Spark应用Java开发环境 准备Spark应用Scala开发环境 准备Spark应用Python开发环境 准备Spark应用运行环境 导入并配置Spark样例工程 新建Spark应用开发工程（可选）

查看更多 →

Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出

查看更多 →

准备Spark应用开发环境 准备Spark本地应用开发环境 准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark应用安全认证 配置Spark Python3样例工程 父主题： Spark2x开发指南（安全模式）

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制

查看更多 →

Spark应用开发环境简介 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装JDK 开发环境的基本配置。版本要求：1.7或者1.8。 说明： 基于安全考虑， MRS 服务端只支持TLS

查看更多 →

新建Spark应用开发工程（可选） 操作场景 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具，选择“Create New Project”。 图1 创建工程 在“New Proje

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制

查看更多 →

准备Spark应用开发环境 准备Spark本地应用开发环境 准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark Python3样例工程 父主题： Spark2x开发指南（普通模式）

查看更多 →

Java函数开发指南（使用IDEA工具普通Java项目） 开发Java函数，以下给出Demo示例步骤： 创建函数工程 配置idea，创建java工程JavaTest，如图创建工程所示 图1 创建工程 添加工程依赖 根据Java SDK下载提供的SDK地址，下载JavaRuntime

查看更多 →

Spark Structured Streaming样例程序（Java） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com

查看更多 →

args[1]; SparkConf sparkConf = HoodieExampleSparkUtils.defaultSparkConf("hoodie-client-example"); JavaSparkContext jsc = new JavaSparkContext(sparkConf);

查看更多 →

Spark Structured Streaming样例程序（Java） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com

查看更多 →

通过JDBC访问Spark SQL样例程序（Java） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： ArrayList<String> sqlList = new ArrayList<String>();

查看更多 →

Spark Structured Streaming样例程序（Java） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com

查看更多 →

Spark Core样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“

查看更多 →

准备Spark本地应用开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。

查看更多 →

准备Spark本地应用开发环境 Spark2x可以使用Java/Scala/Python语言进行应用开发，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。

查看更多 →

Spark Jar作业开发指南 使用Spark Jar作业读取和查询OBS数据 使用Spark作业访问 DLI 元数据 使用Spark作业跨源访问数据源 Spark Jar 使用DEW获取访问凭证读写OBS 获取Spark作业委托临时凭证用于访问其他云服务

查看更多 →

在数据开发模块中提交一个Spark作业。 操作流程如下： 创建DLI集群，通过DLI集群的物理资源来运行Spark作业。 获取Spark作业的演示JAR包，并在数据开发模块中关联到此JAR包。 创建数据开发模块作业，通过DLI Spark节点提交Spark作业。 环境准备 已开通

查看更多 →