数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    idea 远程spark 更多内容
  • 新建Spark样例工程(可选)

    新建Spark样例工程(可选) 操作场景 除了导入Spark样例工程,您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具,选择“Create New Project”。 图1 创建工程 在“New Project

    来自:帮助中心

    查看更多 →

  • 远程通知

    远程通知 远程通知使用流程 调测远程通知功能 设置通知参数 发送通知 查看和导出远程通知日志 远程通知参考 三方APP通知设置 父主题: 系统设置

    来自:帮助中心

    查看更多 →

  • 远程配置

    远程配置 特性介绍 特性限制 功能清单 配置指导

    来自:帮助中心

    查看更多 →

  • 远程配置

    远程配置 平台下发配置通知 设备上报配置响应 父主题: 设备侧MQTT/MQ TTS 接口参考

    来自:帮助中心

    查看更多 →

  • 导入并配置Spark样例工程

    参考获取 MRS 应用开发样例工程,下载样例工程到本地。 将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者,针对已使用过的IDEA工具,您可以从IDEA主界面直接添加。选择“File > Import project

    来自:帮助中心

    查看更多 →

  • 在IDEA中提交Storm拓扑

    IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑,目前样例代码中仅WordCountTopology支持远程提交,其他拓扑想实现远程提交,请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Strom样例工程应用。

    来自:帮助中心

    查看更多 →

  • 自定义SparkStreaming作业

    “dis-spark-streaming-demo”目录包含一个Maven工程样例。 编写SparkStreaming作业 以IntelliJ IDEA社区版为例,说明如何编写SparkStreaming作业。请先确保在IDEA上已经正确配置好 JDK 1.8+ Scala-sdk-2.11

    来自:帮助中心

    查看更多 →

  • 远程登录

    远程登录 远程连接Windows云主机报错:为安全考虑,已锁定该用户账户,原因是登录尝试或密码更改尝试过多

    来自:帮助中心

    查看更多 →

  • 远程重启

    远程重启 操作步骤 当智能企业网关设备故障需要重启时,可参考如下操作对设备进行远程重启。 在“智能企业网关”页面,选择“设备管理 > 路由管理”。 单击“远程重启”,远程重启设备。 父主题: 设备管理

    来自:帮助中心

    查看更多 →

  • 远程部署

    远程部署 访问IoT边缘,单击“管理控制台”进入IoT边缘控制台。 选择左侧导航栏的“边缘节点 > 节点管理”,选择您的边缘节点名称,进入节点详情页。 在左侧导航栏选择“应用模块 > 模块管理”页签,单击“部署应用”。 边缘应用:选择上述制作的应用名称,如:iot_edge_app

    来自:帮助中心

    查看更多 →

  • 远程维护

    远程维护 远程维护是IoT边缘网关提供的Web版客户端工具,可帮助您使用SSH协议进行远程访问主机或直接下载edge应用模块日志。 前提条件 专业版和基础版边缘节点均支持远程维护功能。 节点状态为未安装/升级中/删除中时,无法使用远程登录功能。 远程主机安装了SSH服务端程序,并

    来自:帮助中心

    查看更多 →

  • 远程调试

    远程调试 使用此启动配置可以通过连接到远程JVM或使调试器监听传入连接来进行远程调试。 启动配置属性 名称 描述 type 描述 type 调试器的类型。对于运行和调试Java代码,应将其设置为javadbg。 name 启动配置名称。 env 额外的环境变量 skipBuild

    来自:帮助中心

    查看更多 →

  • 准备Spark应用Scala开发环境

    lib\ext\ 安装IntelliJ IDEA、JDK和Scala工具,并进行相应的配置。 安装JDK。 安装IntelliJ IDEA。 安装Scala工具。 在IntelliJ IDEA中配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图1 Quick

    来自:帮助中心

    查看更多 →

  • 如何添加自定义代码的依赖包

    如何添加自定义代码的依赖包 问题 用户在开发Spark程序时,会添加样例程序外的自定义依赖包。针对自定义代码的依赖包,如何使用IDEA添加到工程中? 回答 在IDEA主页面,选择“File > Project Structures...”进入“Project Structure”页面。

    来自:帮助中心

    查看更多 →

  • 如何添加自定义代码的依赖包

    如何添加自定义代码的依赖包 问题 用户在开发Spark程序时,会添加样例程序外的自定义依赖包。针对自定义代码的依赖包,如何使用IDEA添加到工程中? 回答 在IDEA主页面,选择“File > Project Structures...”进入“Project Structure”页面。

    来自:帮助中心

    查看更多 →

  • 如何处理自动加载的依赖包

    如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下:

    来自:帮助中心

    查看更多 →

  • 如何处理自动加载的依赖包

    如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下:

    来自:帮助中心

    查看更多 →

  • 在Linux环境中编包并运行Spark程序

    将2中生成的Jar包(如CollectFemaleInfo.jar)复制到Spark运行环境下(即Spark客户端),如“/opt/female”。运行Spark应用程序,具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例

    来自:帮助中心

    查看更多 →

  • 在IDEA中提交Storm拓扑

    IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑,目前样例代码中仅WordCountTopology支持远程提交,其他拓扑想实现远程提交,请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Storm样例工程应用。

    来自:帮助中心

    查看更多 →

  • 新建Spark应用开发工程(可选)

    新建Spark应用开发工程(可选) 操作场景 除了导入Spark样例工程,您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具,选择“Create New Project”。 图1 创建工程 在“New Proje

    来自:帮助中心

    查看更多 →

  • 导入并配置Oozie样例工程

    pReduceExample、OozieSparkHBaseExample和OozieSparkHiveExample样例工程的“\src\main\resources”路径。 在应用开发环境中,导入样例工程到IDEA开发环境。 在IDEA中选择“File > Open”,弹出“浏览文件夹”对话框。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了