数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据中台 数据湖 更多内容
  • pyspark样例代码

    将写好的python代码文件上传至 DLI 。 控制操作请参考《 数据湖 探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • 接入SFTP数据源

    接入SFTP数据源 概述 ABM支持把SFTP作为一个数据源,并用于模型采集。在使用SFTP数据源前,您需要先接入数据源。 操作步骤 登录ROMA Connect控制,在“实例”页面单击实例上的“查看控制”,进入实例控制。 在左侧的导航栏选择“应用业务模型ABM > 模型采集

    来自:帮助中心

    查看更多 →

  • 接入本地文件数据源

    接入本地文件数据源 概述 ABM支持把本地文件作为一个数据源,并用于模型采集。在使用本地文件类型数据源前,您需要先创建数据源。 操作步骤 登录ROMA Connect控制,在“实例”页面单击实例上的“查看控制”,进入实例控制。 在左侧的导航栏选择“应用业务模型ABM > 模型采集

    来自:帮助中心

    查看更多 →

  • DLI如何访问OBS桶中的数据

    DLI如何访问OBS桶数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。

    来自:帮助中心

    查看更多 →

  • 工作台

    工作 访问IoT边缘本地控制,进入首页统一门户,如下图所示: 图1 统一门户 工作主要包含以下五个模块: 监控总览:对数据库、操作系统、网络设备、容器、 服务器 和虚拟化等监控对象进行分类,分别展示各个监控对象的数量和告警级别,其中,告警级别包括紧急、严重、次要、警告和信息。

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    将写好的python代码文件上传至DLI。控制操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。控制操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • 新建DLI数据连接

    新建DLI数据连接 连接DLI前,需要满足以下条件: 已创建好DLI的数据库和资源队列。 新建DLI数据源连接 登录 DLV 管理控制。 在“我的数据”页面,单击页面最上方的工作空间下拉列表并选择所需访问的工作空间,然后单击“新建数据连接”。 图1 新建连接 在“新建数据连接”窗口中,选择数据源类型“ 数据湖探索

    来自:帮助中心

    查看更多 →

  • 接入本地文件数据源

    接入本地文件数据源 概述 应用模型支持把本地文件作为一个数据源,并用于模型采集。在使用本地文件类型数据源前,您需要先创建数据源。 操作步骤 在开天集成工作界面,选择左侧导航栏的“应用模型 > 实例管理”,单击实例“控制”。 选择“数据源”页签,单击“创建数据源”,进入创建

    来自:帮助中心

    查看更多 →

  • 数据处理可以处理哪些数据源中的数据?

    数据处理可以处理哪些数据数据? 目前仅支持读写OBS桶数据。如果读写租户OBS数据,可以使用ModelArts提供的MoXing的API能力,实现读写OBS数据。 父主题: 数据处理

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    将写好的python代码文件上传至DLI。 控制操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • 监控安全风险

    用户可以实时掌握队列的运行作业网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率、等待作业数等信息。还可以通过 云监控服务 提供的管理控制或API接口来检索数据湖探索服务产生的监控指标和告警信息。 关于DLI支持的监控指标请参见数据湖探索监控指标说明及查看指导。

    来自:帮助中心

    查看更多 →

  • 工作台

    权益信息:能够让管理员登录到管理后台的第一个页面看到授权名额、账号期限、存储空间的使用情况 操作指南 操作路径 工作:默认情况下进入管理端打开的第一个页面 图1 工作 主要功能 快捷入口:单击入口名称快速跳转至目标位置,单击右上角编辑按钮进行自定义入口的选择及排序,最多可展示8个

    来自:帮助中心

    查看更多 →

  • 接入APPCUBE数据源

    接入APPCUBE数据源 概述 ABM支持把APPCUBE作为一个数据源,并用于模型采集。在使用APPCUBE数据源前,您需要先接入数据源。 操作步骤 登录ROMA Connect控制,在“实例”页面单击实例上的“查看控制”,进入实例控制。 在左侧的导航栏选择“应用业务模型ABM

    来自:帮助中心

    查看更多 →

  • scala样例代码

    database DDS的数据库名,如果在"url"同时指定了数据库名,则"url"数据库名不生效。 collection DDS的collection名,如果在"url"同时指定了collection,则"url"的collection不生效。 说明: 如果在DDS已存在col

    来自:帮助中心

    查看更多 →

  • 数据在数据仓库服务中是否安全?

    数据数据仓库服务是否安全? 安全。在大数据时代,数据是用户的核心资产。公有云将继续秉承多年来向社会做出的“上不碰应用,下不碰数据”的承诺,保证用户核心资产的安全。这是对用户和社会的承诺,也是公有云及其伙伴商业成功的保障和基石。 数据仓库服务工程师对整个数据仓库系统进行了电信系

    来自:帮助中心

    查看更多 →

  • 接入SFTP数据源

    接入SFTP数据源 概述 应用模型支持把SFTP作为一个数据源,并用于模型采集。在使用SFTP数据源前,您需要先接入数据源。 操作步骤 在开天集成工作界面,选择左侧导航栏的“应用模型 > 实例管理”,单击实例“控制”。 选择“模型采集 > 数据源”,单击“创建数据源”,进入

    来自:帮助中心

    查看更多 →

  • 获取数据源中的表

    获取数据的表 功能介绍 获取数据的表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/{connection_id}/datatables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。

    来自:帮助中心

    查看更多 →

  • 已备案信息中存在空壳数据

    已备案信息存在空壳数据 如果有空壳网站或空壳主体的情况,建议先注销空壳网站或空壳主体后,再申请新的备案。 更多关于空壳网站的内容,请参见空壳网站。 更多关于空壳主体的内容,请参见空壳主体。 父主题: 备案流程

    来自:帮助中心

    查看更多 →

  • 导入导出应用中对象的数据

    > 定时任务 > 任务执行历史”查看。 导入对象数据 请先将导出对象数据中导出的数据压缩成“zip”格式的压缩包。在进行数据导入前,要确保环境已存在与导入文件同名的表结构,可通过元数据导入或在环境手动定义表结构。 在AstroZero服务控制,单击进入首页,进入应用开发页面。

    来自:帮助中心

    查看更多 →

  • java样例代码

    将写好的代码文件生成jar包,上传至DLI。 控制操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果 MRS 集群开启了Kerberos认证,创建Spark作业时需要将krb5.conf和user.keytab文件添加到作业的依赖文件,未开启Kerberos认证该步骤忽略。如图1所示:

    来自:帮助中心

    查看更多 →

  • 创建数据连接需要注意哪些事项?

    创建数据连接需要注意哪些事项? RDS数据连接方式依赖于OBS。如果没有与 DataArts Studio 同区域的OBS,则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 数据连接

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了