最新动态

更新时间:2024/03/25 GMT+08:00
分享

本文介绍了数据湖探索 DLI各特性版本的功能发布和对应的文档动态,欢迎体验。

2024年03月

序号

功能名称

功能描述

阶段

相关文档

1

新增标签策略使用约束限制

DLI新增标签策略使用约束限制,即按组织设定的标签策略规则为资源添加标签。

商用

标签管理

2024年02月

序号

功能名称

功能描述

阶段

相关文档

1

新增Spark开源命令支持说明

DLI新增Spark开源命令支持说明。

商用

Spark开源命令支持说明

2024年01月

序号

功能名称

功能描述

阶段

相关文档

1

新增数据赋权API

DLI新增数据赋权API,用于将数据库或数据表的数据权限赋给指定的其他用户或项目。

商用

数据赋权

2

新增3.1.1版本依赖包信息

DLI新增3.1.1版本依赖包信息。

商用

内置依赖包

3

新增弹性资源池相关监控指标

DLI新增弹性资源池相关监控指标。

商用

数据湖探索监控指标说明

2023年11月

序号

功能名称

功能描述

阶段

相关文档

1

优化DLI Spark SQL语法参考中的示例

优化DLI Spark SQL语法参考中的示例,补充更多创建OBS表和DLI表的示例信息。

商用

使用DataSource语法创建OBS表

2023年09月

序号

功能名称

功能描述

阶段

相关文档

1

优化Spark内置函数

优化Spark内置函数内容,补充函数功能介绍、参数说明、返回值说明和示例代码。

商用

内置函数

2023年08月

序号

功能名称

功能描述

阶段

相关文档

1

设置队列属性

新增设置队列属性功能。

商用

队列属性设置

2

分配队列至项目

新增分配队列至项目功能。

商用

分配队列至项目

3

SQL作业支持查看“CPU累计使用量”和“输出字节”。

新增SQL作业详情支持查看“CPU累计使用量”和“输出字节”功能。

商用

SQL作业管理

4

全局变量权限管理

新增全局变量权限管理功能。

商用

全局变量权限管理

2023年07月

序号

功能名称

功能描述

阶段

相关文档

1

产品介绍新增“DLI约束限制”

产品介绍新增“DLI约束限制”,补充DLI相关功能约束限制说明。

商用

约束限制

2

DLI新增计费说明手册

新增“计费说明”手册,介绍DLI计费项、计费说明、计费样例等信息。

商用

DLI计费说明

3

补充队列扩缩容约束限制

新增队列扩缩容约束限制:

  • 16CUs队列不支持扩容、缩容。
  • 64CUs队列不支持缩容。

商用

队列弹性扩缩容

4

提供Flink 1.12镜像

新增Flink 1.12镜像下载地址。

商用

下载基础镜像

2023年06月

序号

功能名称

功能描述

阶段

相关文档

1

优化跨源认证操作指导

介绍跨源认证的相关操作。

商用

跨源认证

2

优化增强型跨源连接操作指导

介绍增强型跨源连接的操作步骤。

商用

增强型跨源连接

3

提供Spark3.1.1镜像

新增Spark3.1.1镜像下载地址。

商用

Spark3.1.1镜像下载地址

4

新增Spark内置函数

新增Spark内置函数中的、数字函数、日期函数、字符串函数、其他函数。

商用

内置函数

2023年05月

序号

功能名称

功能描述

阶段

相关文档

1

开启Flink作业动态扩缩容

介绍如何开启Flink作业动态扩缩容。

商用

开启Flink作业动态扩缩容

2

设置作业优先级

介绍如何设置作业的优先级。

商用

设置作业优先级

2023年04月

序号

功能名称

功能描述

阶段

相关文档

1

DLI队列标签管理

修改队列标签键和标签值的说明。

商用

队列标签管理

2023年03月

序号

功能名称

功能描述

阶段

相关文档

1

DLI库表支持标签管理

介绍如何为库表添加标签、修改标签和删除标签。

商用

库表管理标签管理

2

新增使用Flink Jar读写DIS开发指南

基于Flink 1.12版本的Flink Jar作业介绍读写DIS数据的操作方法。

商用

使用Flink Jar读写DIS开发指南

2022年12月

序号

功能名称

功能描述

阶段

相关文档

1

新增模板相关API

新增“创建作业模板”、“更新SQL模板”等相关API。

商用

模板相关API

2

新增“创建跨源认证”、“创建路由”等跨源相关API

新增“创建跨源认证”、“获取跨源认证列表”、“更新跨源认证”、“删除跨源认证”、“创建路由”、“删除路由”等跨源相关API。

商用

跨源认证相关API

创建路由

删除路由

2022年10月

序号

功能名称

功能描述

阶段

相关文档

1

新增DLI队列与公网网络打通方案

通过配置SNAT规则,添加到公网的路由信息,实现DLI队列到和公网的网络打通。

商用

配置DLI 队列与公网网络联通

2022年07月

序号

功能名称

功能描述

阶段

相关文档

1

DLI开发指南新增“使用Flink Jar连接开启SASL_SSL认证的Kafka”

介绍使用Flink Jar连接开启SASL_SSL认证的Kafka的操作方法。

商用

使用Flink Jar连接开启SASL_SSL认证的Kafka

2022年05月

序号

功能名称

功能描述

阶段

相关文档

1

弹性资源池功能

弹性资源池后端采用CCE集群的架构,支持异构,对资源进行统一的管理和调度。不同队列之间资源隔离,减少队列之间的相互影响。分钟级别扩缩容,从容应对流量洪峰和资源诉求。支持分时设置队列优先级和配额,提高资源利用率。

公测

使用弹性资源池

2

新增Flink OpenSource最佳实践

创建Flink OpenSource作业最佳实践。

商用

从Kafka读取数据写入到RDS

从Kafka读取数据写入到DWS

从Kafka读取数据写入到Elasticsearch

从MySQL CDC源表读取数据写入到DWS

3

DLI支持Flink OpenSource SQL 1.12语法

DLI支持创建Flink OpenSource SQL 1.12语法作业。

商用

Flink OpenSource SQL1.12语法参考

2022年04月

序号

功能名称

功能描述

阶段

相关文档

1

最佳实践中新增“使用CDM迁移数据到DLI”操作指导

您可以通过云数据迁移服务CDM轻松的将其他云服务或者业务平台的数据迁移至DLI。

 

商用

CDM迁移数据到DLI最佳实践内容概览

2022年03月

序号

功能名称

功能描述

阶段

相关文档

1

开发指南中新增“在Spark SQL作业中使用UDTF”操作指导

DLI支持用户使用Hive UDTF(User-Defined Table-Generating Functions)自定义表值函数,UDTF用于解决一进多出业务场景,即其输入与输出是一对多的关系,读入一行数据,输出多个值。

商用

在Spark SQL作业中使用UDTF

2

开发指南中新增“使用Spark Jar作业读取和查询OBS数据”操作指导

本指导从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业等完整的操作步骤说明来帮助您在DLI上进行作业开发。

商用

使用Spark Jar作业读取和查询OBS数据

2021年12月

序号

功能名称

功能描述

阶段

相关文档

1

下线创建会话和查看会话相关API接口

下线创建会话API接口

下线查看会话API接口

商用

API参考

2021年09月

序号

功能名称

功能描述

阶段

相关文档

1

Flink Jar作业支持写入数据到OBS

DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力

商用

使用Flink Jar写入数据到OBS开发指南

2

Flink OpenSource SQL增加ClickHouse和userDefined等语法说明

Flink OpenSource SQL增加userDefined源表、userDefined结果表以及ClickHouse结果表的语法说明

商用

userDefined源表

userDefined结果表

ClickHouse结果表

2021年04月

序号

功能名称

功能描述

阶段

相关文档

1

支持用户本地Notebook工具对接

DLI支持用户本地Notebook工具对接

商用

使用Livy提交Spark作业

2021年02月

序号

功能名称

功能描述

阶段

相关文档

1

支持数据多版本

DLI提供多版本功能,用于数据的备份与恢复。

商用

开启或关闭数据多版本

2

支持Flink 1.11版本

DLI支持Flink 1.11版本特性。

商用

Apache Flink Documentation

2020年12月

序号

功能名称

功能描述

阶段

相关文档

1

Spark作业支持访问SQL表数据

DLI支持用户通过提交Spark作业,在Spark作业中访问由SQL作业创建的DLI表。

商用

使用Spark作业访问DLI表

2020年10月

序号

功能名称

功能描述

阶段

相关文档

1

支持用户自定义镜像

DLI支持容器部署的集群。在容器集群中,Spark作业和Flink作业相关组件都运行在容器中,通过下载DLI提供的自定义镜像,可以改变Spark作业和Flink作业的容器运行环境。

商用

自定义镜像

2020年08月

序号

功能名称

功能描述

阶段

相关文档

1

集成TPC-H测试套件

用户可以通过DLI内置的TPC-H测试套件进行简单高效的交互式查询,无需用户上传数据,即可以体验DLI的核心功能。

商用

TPC-H使用指导

2

支持计算队列定时扩缩容

DLI提供了队列规格变更定时任务功能。用户可以根据自己的业务周期或者使用情况,基于现有队列规格,在不同的时间或者周期内设置不同的队列大小,以满足自己的业务需求,节约成本。

商用

定时扩容/缩容

3

支持存储量套餐包

DLI增加存储量套餐包,降低数据存储在DLI中的费用。

商用

产品价格详情

2020年06月

序号

功能名称

功能描述

阶段

相关文档

1

支持Spark作业开发者模式

用户可以在DLI管理控制台采用API接口模式设置参数及参数值。

商用

创建批处理作业API

2

计算队列支持跨AZ双活

DLI跨AZ队列能够为用户提供跨区域容灾的能力,提高计算的可靠性。

商用

队列管理概述

2020年05月

序号

功能名称

功能描述

阶段

相关文档

1

支持全局变量功能

DLI支持设置全局变量,用于保护用户关键信息。

商用

全局变量

2

支持数据扫描量套餐包

DLI增加数据扫描量套餐包,降低数据扫描量费用。

商用

产品价格详情

2020年04月

序号

功能名称

功能描述

阶段

相关文档

1

支持Flink 1.10

DLI支持Flink 1.10版本特性。

商用

Apache Flink Documentation

2

支持IAM细粒度授权

DLI支持通过IAM进行细粒度授权。

商用

DLI自定义策略

2020年03月

序号

功能名称

功能描述

阶段

相关文档

1

支持Spark程序访问DLI表

DLI支持通过Spark作业访问DLI表。

商用

使用Spark作业访问DLI表

2

支持计算队列手动扩缩容

DLI支持手动对队列进行扩缩容。

商用

手动扩容/缩容

2020年01月

序号

功能名称

功能描述

阶段

相关文档

1

支持Flink流作业

DLI上线Flink流作业,完全兼容Apache Flink和Spark API,即时执行Stream SQL或自定义作业,提供实时处理流式大数据的全栈能力。

商用

Flink作业管理概述

2019年10月

序号

功能名称

功能描述

阶段

相关文档

1

支持鲲鹏计算集群(北京四)

DLI支持选在鲲鹏CPU架构

商用

创建队列

2019年08月

序号

功能名称

功能描述

阶段

相关文档

1

支持SparkUI查看作业详情

DLI支持通过SparkUI页面查看作业运行的情况。

商用

Class SparkUI

2019年07月

序号

功能名称

功能描述

阶段

相关文档

1

异构数据源联邦分析支持MRS OpenTSDB

DLI跨源访问支持的服务增加MRS OpenTSDB。

商用

对接Open TSDB样例代码

2

支持包周期队列

DLI支持 使用包年包月计费模式,可以更优惠。

商用

产品价格详情

2019年02月

序号

功能名称

功能描述

阶段

相关文档

1

异构数据源联邦分析支持CSS

DLI跨源访问支持的服务增加CSS。

商用

对接CSS样例代码

2

计算引擎支持Spark2.3.2

DLI计算引擎支持Spark2.3.2。 通过Spark已有程序包实现全托管式的Spark计算服务。

商用

DLI内置依赖包

分享:

    相关文档

    相关产品