在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑，目前样例代码中仅WordCountTopology支持远程提交，其他拓扑想实现远程提交，请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Storm样例工程应用。

查看更多 →

在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。

查看更多 →

安装和配置IntelliJ IDEA 用于开发Spark应用程序的工具，建议使用2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle

查看更多 →

如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下。

查看更多 →

如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下：

查看更多 →

如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下：

查看更多 →

通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JD BCS erver的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDB CS erver服务，并至少有一个实例可连接客户端。在JDBCServer节点上分别

查看更多 →

安装和配置IntelliJ IDEA 用于开发Spark应用程序的工具，建议使用2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle

查看更多 →

本地运行Spark程序连接 MRS 集群的Hive、HDFS 问题 本地运行Spark程序时，如何连接MRS集群的Hive和HDFS？ 回答 为每一个Master节点申请并绑定弹性公网IP。 在本地Windows上配置集群的ip与主机名映射关系。登录集群后台，执行命令cat /etc

查看更多 →

将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户，例如developuser，并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限，HDFS访问权限，Hive表读写权限，HBase读写权限以及Yarn的队列提交权限。

查看更多 →

maleInfo.jar）复制到Spark运行环境下（即Spark客户端），如“/opt/female”。运行Spark应用程序，具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。

查看更多 →

maleInfo.jar）复制到Spark运行环境下（即Spark客户端），如“/opt/female”。运行Spark应用程序，具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。

查看更多 →

shuffle操作时SASL认证的超时时间。单位：秒。 2000s spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位：秒。 3000s spark.network.timeout 所有涉及网络连接操作的超时时间。单位：秒。 360s 父主题：

查看更多 →

shuffle操作时SASL认证的超时时间。单位：秒。 2000s spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位：秒。 3000s spark.network.timeout 所有涉及网络连接操作的超时时间。单位：秒。 360s 父主题：

查看更多 →

远程连接 云服务器 出现蓝屏 问题描述 Windows Server 2012 R2操作系统云 服务器 ，本地使用远程桌面连接功能连接云服务器并启用redirected drive功能时，云服务器出现蓝屏。 根本原因 远程桌面连接启用了redirected drive功能，同时加载对应rdpdr

查看更多 →

远程连接云服务器出现蓝屏 问题描述 Windows Server 2012 R2操作系统云服务器，本地使用远程桌面连接功能连接云服务器并启用redirected drive功能时，云服务器出现蓝屏。 根本原因 远程桌面连接启用了redirected drive功能，同时加载对应rdpdr

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

远程连接Windows云服务器报错：此计算机无法连接到远程计算机 问题描述 使用远程登录方式连接登录Windows云服务器时出现如下错误：此计算机无法连接到远程计算机。 图1 无法连接到远程计算机 可能原因 服务端安全组3389端口未开启。检查云 服务器端口 配置 服务端防火墙关闭。检查防火墙配置是否正常

查看更多 →

远程通知 远程通知使用流程 调测远程通知功能 设置通知参数 发送通知 查看和导出远程通知日志 远程通知参考 三方APP通知设置 父主题： 系统设置

查看更多 →