数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    spark 应用程序开发 代码 更多内容
  • 代码开发

    代码开发 概述 创建代码仓库 下载代码到本地 开发业务代码 编写IaC脚本 提交代码代码仓库 父主题: 基于Spring Cloud框架进行应用上云

    来自:帮助中心

    查看更多 →

  • 典型应用程序开发示例

    典型应用程序开发示例 获取和处理数据库中的数据 批量绑定 高性能绑定类型 开启连接池 父主题: 基于ODBC开发

    来自:帮助中心

    查看更多 →

  • 开发Spark应用

    开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark

    来自:帮助中心

    查看更多 →

  • 开发Spark应用

    开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark

    来自:帮助中心

    查看更多 →

  • 开发Spark应用

    开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    DoubleType from pyspark.sql import SparkSession if __name__ == "__main__": # Create a SparkSession session. sparkSession = SparkSession.builder

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    DoubleType from pyspark.sql import SparkSession if __name__ == "__main__": # Create a SparkSession session. sparkSession = SparkSession.builder

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    pyspark样例代码 开发说明 前提条件 在 DLI 管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《 数据湖探索 用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现详解 import相关依赖包

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    pyspark样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的pyspark样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《 数据湖 探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    print_function from pyspark.sql import SparkSession if __name__ == "__main__": # Create a SparkSession sparkSession = SparkSession.builder.

    来自:帮助中心

    查看更多 →

  • 如何采用Java命令提交Spark应用

    根据业务逻辑,开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。不同场景的示例请参考开发Spark应用。 如果您使用的安全模式,建议按照安全要求,准备安全认证代码、业务应用代码及其相关配置。 yarn-cluster模式中不支持在Spark工程中添加安全

    来自:帮助中心

    查看更多 →

  • 如何采用Java命令提交Spark应用

    } 根据业务逻辑,开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。不同场景的示例请参考开发Spark应用。安全模式,建议按照安全要求,准备安全认证代码、业务应用代码及其相关配置。 yarn-cluster模式中不支持在Spark工程中添加安全认证。

    来自:帮助中心

    查看更多 →

  • ClickHouse应用程序开发思路

    ClickHouse应用程序开发思路 通过典型场景,用户可以快速学习和掌握ClickHouse的开发过程,并且对关键的接口函数有所了解。 场景说明 ClickHouse可以使用SQL进行常见的业务操作,代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。

    来自:帮助中心

    查看更多 →

  • GaussDB应用程序开发教程概述

    总的来说,JDBC提供了一个灵活且强大的桥梁,使Java应用程序能够与各种不同的数据库进行交互,从而实现数据的持久化和管理。 GaussDB 库提供了对JDBC 4.2特性的支持,需要使用JDK1.8版本编译程序代码,不支持JDBC桥接ODBC方式。 基于JDBC开发详细教程请参见基于JDBC开发。 ODBC ODBC(Open

    来自:帮助中心

    查看更多 →

  • 如何采用Java命令提交Spark应用

    $exitCode") } 根据业务逻辑,开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。准备业务应用代码及其相关配置。不同场景的示例请参考开发Spark应用。 调用org.apache.spark.launcher.SparkLauncher.launch()方法,将用户的应用程序提交。

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    print_function from pyspark.sql import SparkSession if __name__ == "__main__": # Create a SparkSession session. sparkSession = SparkSession.builder

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    StringType from pyspark.sql import SparkSession if __name__ == "__main__": # Create a SparkSession session. sparkSession = SparkSession.builder

    来自:帮助中心

    查看更多 →

  • 如何采用Java命令提交Spark应用

    根据业务逻辑,开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。不同场景的示例请参考开发Spark应用。 如果您使用的安全模式,建议按照安全要求,准备安全认证代码、业务应用代码及其相关配置。 yarn-cluster模式中不支持在Spark工程中添加安全

    来自:帮助中心

    查看更多 →

  • 开发业务代码

    repository中配置自定义的Maven仓库地址。 JAVA开发环境的配置。 AppStage提供的SDK是基于java1.8版本开发的,如果Spring Cloud项目使用java11及以上版本,则不支持使用AppStage提供的SDK进行应用开发。以下步骤以win7环境配置JDK8 64位为

    来自:帮助中心

    查看更多 →

  • 链代码开发

    代码开发 开发前准备 开发规范 Go语言链代码开发 Java语言链代码开发 父主题: Hyperledger Fabric增强版管理

    来自:帮助中心

    查看更多 →

  • 低代码合约开发

    代码合约开发 传统的智能合约开发需要开发人员使用底层 区块链 支持的合约语言进行相关业务开发和测试,开发人员不仅要求具备一定的编程能力,还需具备区块链等相关知识以保障合约的安全性。华为区块链提供低代码开发能力,开发人员仅需要根据实际业务画出业务流程建模符号(Business Process

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了