数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    大数据spark 更多内容
  • 可视大屏

    可视屏 单击主菜单的“可视化”,默认进入“运营屏”页面。 选择屏单击进入,根据屏所展示的状态与数据进行决策。 屏详细内容请参见可视化运营屏。 父主题: 屏可视

    来自:帮助中心

    查看更多 →

  • 使用Spark Jar作业读取和查询OBS数据

    运行该作业即可。 后续指引 如果您想通过Spark Jar作业访问其他数据源,请参考《使用Spark作业跨源访问数据源》。 如果您想通过Spark Jar作业在 DLI 创建数据库和表,请参考《使用Spark作业访问DLI元数据》。 完整样例代码参考 认证用的access.key和secret

    来自:帮助中心

    查看更多 →

  • 使用Spark作业跨源访问数据源

    使用Spark作业跨源访问数据源 概述 对接 CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题: Spark Jar作业开发指南

    来自:帮助中心

    查看更多 →

  • 测试大屏

    单击“登录”,进入沙箱环境,如图8所示。 图8 沙箱环境 部署屏到沙箱环境 示例中以导入方式为例,部署屏应用到沙箱环境,以便于测试该屏。 登录沙箱环境,如图9所示,单击“DMAX”,进入业务屏。 图9 进入业务屏 如图10所示,单击“导入项目包”。 图10 导入项目包 选择导出的本地项目包。

    来自:帮助中心

    查看更多 →

  • 预览大屏

    预览屏 本章节介绍如何预览屏。 前提条件 已开通DataArts Insight服务。 已创建管理数据源的项目,参考新建项目完成项目创建。 您已获取数据,参考新建数据源。 已创建所需的数据集,参考可视化创建数据集完成数据集创建。 您已制作并保存该数据屏。 预览屏操作步骤 登录智能数据洞察控制台。

    来自:帮助中心

    查看更多 →

  • 复制大屏

    在控制台的右侧“我的项目列”选择或搜索对应的项目,单击进入项目。 在项目页面,单击数据分析下“屏”进入屏管理页面。 单击屏操作列“更多>复制”,弹出复制窗口,重命名后单击“确定”,复制成功。此时屏转态为未发布,如果要发布请参见发布屏章节。 父主题: 新建

    来自:帮助中心

    查看更多 →

  • 管理大屏

    在项目页面,单击数据分析下“屏”进入屏管理页面。 单击屏操作列“更多>删除”,弹出删除窗口,单击“确定”,删除屏。 父主题: 新建

    来自:帮助中心

    查看更多 →

  • 大屏概述

    屏概述 概述 本文介绍DataArts Insight的屏功能,数据屏的常见应用场景包括活动数据监控、项目会议演示、对外接待等场景。 适用场景 数据屏是DataArts Insight分析场景的重要组成部分,常见应用场景包括活动数据监控、项目会议演示、对外接待等,致力于满足企业高可视化要求的数据展示场景。

    来自:帮助中心

    查看更多 →

  • 大Key诊断

    选择“Key诊断”,勾选对应的类型,查看对应类型的Key信息。 图1 Key诊断 您可以查看Key的信息。参数请查看表1。 表1 Key的参数 参数 描述 类型 Key的类型。 string hash zset set exhash list stream Key名

    来自:帮助中心

    查看更多 →

  • 资产大屏

    在左侧导航栏选择“安全态势 > 安全屏”,进入安全屏页面。 图2 进入安全屏页面 单击资产屏右下角的“播放”,进入资产屏信息页面。 页面中各个模块的功能介绍、数据信息等详见下述内容。 资产屏总览 展示当前工作空间内资产、受攻击资产、未防护资产、漏洞和弱配置资产的总数。 表1 资产屏总览 参数名称

    来自:帮助中心

    查看更多 →

  • Spark任务由于内存不够或提交作业时未添加Jar包,作业卡住

    单击“配置”,选择“全部配置”。然后在搜索框中搜索spark.driver.memory和spark.executor.memory,根据作业的需要调或者调小该值,具体以提交的Spark作业的复杂度和内存需要为参考(一般调)。 如果使用到SparkJDBC作业,搜索并修改SPARK_EXECUTOR_M

    来自:帮助中心

    查看更多 →

  • 新建大屏

    新建屏概述 创建屏全局参数配置 屏组件 预览屏 发布屏 复制屏分享协作 管理屏 典型场景示例:搭建某商品销售数据

    来自:帮助中心

    查看更多 →

  • spark提交服务

    spark提交服务 服务分布: 表1 服务分布 服务名 服务器 安装目录 端口 data-spark-submit 10.190.x.x 10.190.x.x /app/dt/data-spark-submit 8087 安装spark提交服务 修改配置文件application-dev

    来自:帮助中心

    查看更多 →

  • Spark作业相关

    18 def submit_spark_batch_job(dli_client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name

    来自:帮助中心

    查看更多 →

  • 开发Spark应用

    开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

    来自:帮助中心

    查看更多 →

  • 开发Spark应用

    开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase

    来自:帮助中心

    查看更多 →

  • Spark Core程序

    Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题: 开发Spark应用

    来自:帮助中心

    查看更多 →

  • Spark接口介绍

    Spark接口介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python接口介绍 Spark REST API接口介绍 Spark ThriftServer接口介绍 Spark常用命令介绍 父主题: Spark应用开发常见问题

    来自:帮助中心

    查看更多 →

  • 创建Spark作业

    创建Spark作业 Spark作业编辑页面支持执行Spark作业,为用户提供全托管式的Spark计算服务。 在总览页面,单击Spark作业右上角的“创建作业”,或在Spark作业管理页面,单击右上角的“创建作业”,均可进入Spark作业编辑页面。 进入Spark作业编辑页面,页面

    来自:帮助中心

    查看更多 →

  • MRS Spark Python

    MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程,请参见开发一个MRS Spark Python作业。 参数 用户可参考表1,表2和表3配置MRS

    来自:帮助中心

    查看更多 →

  • 编辑大屏

    编辑屏 本章节通过一个简单的示例向您介绍如何编辑屏。 屏开发页面总览 登录 DLV 控制台,在“我的屏”页面,找到需要编辑的屏,将鼠标移至该屏图标上,然后单击编辑按钮进入屏开发页面。 在屏开发页面中,您可以根据业务需求设计和开发屏,完成添加组件、页面布局、关联数据源和发布大屏等操作。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了