数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    spark 云服务器 更多内容
  • Spark应用开发简介

    言进行Spark应用程序开发。 按不同的语言分,Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API,Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

    来自:帮助中心

    查看更多 →

  • Spark常用API介绍

    Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JD BCS erver接口介绍 父主题: Spark应用开发常见问题

    来自:帮助中心

    查看更多 →

  • Spark2x

    Spark2x Spark2x jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的spark包运行样例代码,但是不同版本的spark-core包在使用的时候可能互相序列化ID不一样,建议使用集群自带jar包。

    来自:帮助中心

    查看更多 →

  • Spark作业开发类

    Spark作业开发类 Spark作业使用咨询 Spark如何将数据写入到 DLI 表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库?

    来自:帮助中心

    查看更多 →

  • Spark应用开发简介

    提供Python语言的API,Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分,Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块,支持CLI或者JD

    来自:帮助中心

    查看更多 →

  • Spark常用API介绍

    Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDB CS erver接口介绍 父主题: Spark应用开发常见问题

    来自:帮助中心

    查看更多 →

  • 调测Spark应用

    调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题: Spark2x开发指南(普通模式)

    来自:帮助中心

    查看更多 →

  • Spark常用API介绍

    Spark常用API介绍 Spark Java API接口介绍 Spark scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题: Spark应用开发常见问题

    来自:帮助中心

    查看更多 →

  • Spark用户权限管理

    Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark/Spark2x

    来自:帮助中心

    查看更多 →

  • Spark常用配置参数

    conf”配置文件中设置该参数。 Spark客户端提交的任务在客户端配的“spark-defaults.conf”配置文件中设置该参数。 Spark长时间任务安全认证配置 安全模式下,使用Spark CLI(如spark shell、spark sql、spark submit)时,如果使

    来自:帮助中心

    查看更多 →

  • Spark shuffle异常处理

    Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该: 登录 FusionInsight Manager管理界面,修改JDBCServer的参数“spark.authenticate.enableSaslEncryp

    来自:帮助中心

    查看更多 →

  • 管理Spark作业模板

    管理Spark作业模板 操作场景 在创建Spark作业时,您可以在已有的Spark样例模板中进行修改,来实现实际的作业逻辑需求,节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板,但支持用户自定义Spark作业模板,本节操作介绍在Spark管理页面创建Spark模板的操作方法。

    来自:帮助中心

    查看更多 →

  • Spark应用开发规则

    org.apache.spark.SparkContext // RDD操作时引入的类。 import org.apache.spark.SparkContext._ // 创建SparkConf时引入的类。 import org.apache.spark.SparkConf 分布式模

    来自:帮助中心

    查看更多 →

  • Spark应用开发建议

    在对性能要求比较高的场景下,可以使用Kryo优化序列化性能 Spark提供了两种序列化实现: org.apache.spark.serializer.KryoSerializer:性能好,兼容性差 org.apache.spark.serializer.JavaSerializer:性能一般,兼容性好

    来自:帮助中心

    查看更多 →

  • Spark应用开发概述

    Spark应用开发概述 Spark应用开发简介 Spark应用开发常用概念 Spark应用开发流程介绍 父主题: Spark开发指南

    来自:帮助中心

    查看更多 →

  • Spark Python接口介绍

    Spark Python接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类: pyspark.SparkContext:是Spark的对外接口。负责向调用该类

    来自:帮助中心

    查看更多 →

  • Spark SQL join优化

    配置为-1时,将不进行广播。 配置自动广播阈值的方法: 在Spark的配置文件“spark-defaults.conf”中,设置“spark.sql.autoBroadcastJoinThreshold”的值。 spark.sql.autoBroadcastJoinThreshold

    来自:帮助中心

    查看更多 →

  • Standalone模式spark配置

    Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径,jar包需要放在spark所在 服务器 上。如果spark是集群环境,则每个节点都需要放入jar包,且路径相同。

    来自:帮助中心

    查看更多 →

  • Spark应用开发简介

    言进行Spark应用程序开发。 按不同的语言分,Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API,Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

    来自:帮助中心

    查看更多 →

  • 调测Spark应用

    调测Spark应用 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题: Spark2x开发指南(普通模式)

    来自:帮助中心

    查看更多 →

  • Spark作业使用咨询

    Studio服务进行作业开发请参考《 数据治理中心 用户指南》。 Spark SQL语法创建表时是否支持定义主键 Spark SQL语法不支持定义主键。 DLI Spark jar作业是否能访问DWS跨源表? 可以访问。 详细操作请参考访问DWS和访问SQL库表。 如何查看Spark内置依赖包的版本? DLI内置依

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了