Spark应用开发流程介绍 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程相同。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 了解基本概念

查看更多 →

使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。

查看更多 →

使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考

查看更多 →

Spark应用开发流程介绍 Spark应用程序开发流程 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明

查看更多 →

Spark应用开发流程介绍 Spark应用程序开发流程 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明

查看更多 →

提交Spark任务时连接ResourceManager异常 问题背景与现象 连接ResourceManager异常，导致Spark任务提交失败。 原因分析 在Driver端打印异常如下，打印连接两个ResourceManager主备节点的26004端口均被拒绝： 15/08/19

查看更多 →

新建Spark应用开发工程（可选） 操作场景 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具，选择“Create New Project”。 图1 创建工程 在“New Proje

查看更多 →

远程通知 远程通知使用流程 调测远程通知功能 设置通知参数 发送通知 查看和导出远程通知日志 远程通知参考 三方APP通知设置 父主题： 系统设置

查看更多 →

远程配置 平台下发配置通知 设备上报配置响应 父主题： 设备侧MQTT/MQ TTS 接口参考

查看更多 →

远程配置 特性介绍 特性限制 功能清单 配置指导

查看更多 →

安装和配置IntelliJ IDEA 用于开发Spark应用程序的工具，建议使用2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle

查看更多 →

远程重启 操作步骤 当智能企业网关设备故障需要重启时，可参考如下操作对设备进行远程重启。 在“智能企业网关”页面，选择“设备管理 > 路由管理”。 单击“远程重启”，远程重启设备。 父主题： 设备管理

查看更多 →

远程部署 访问IoT边缘，单击“管理控制台”进入IoT边缘控制台。 选择左侧导航栏的“边缘节点 > 节点管理”，选择您的边缘节点名称，进入节点详情页。 在左侧导航栏选择“应用模块 > 模块管理”页签，单击“部署应用”。 边缘应用：选择上述制作的应用名称，如：iot_edge_app

查看更多 →

远程调试 使用此启动配置可以通过连接到远程JVM或使调试器监听传入连接来进行远程调试。 启动配置属性 名称 描述 type 描述 type 调试器的类型。对于运行和调试Java代码，应将其设置为javadbg。 name 启动配置名称。 env 额外的环境变量 skipBuild

查看更多 →

远程维护 远程维护是IoT边缘网关提供的Web版客户端工具，可帮助您使用SSH协议进行远程访问主机或直接下载edge应用模块日志。 前提条件 专业版和基础版边缘节点均支持远程维护功能。 节点状态为未安装/升级中/删除中时，无法使用远程登录功能。 远程主机安装了SSH服务端程序，并

查看更多 →

如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下。

查看更多 →

如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下：

查看更多 →

如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下：

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

获取、拉取和推送更改 当您的存储库连接到远程，并且您的检出分支与远程的分支有上游链接时，CodeArts IDE允许您推送、拉取和同步（拉取后紧接着推送）该分支。 获取 从远程获取更改可以查看本地存储库相对于远程的超前或落后情况。这些更改本身不会合并到本地工作树中。CodeArts

查看更多 →