最新动态

更新时间:2024/11/20 GMT+08:00

本文介绍了数据湖探索 DLI各特性版本的功能发布和对应的文档动态,欢迎体验。

2024年11月

序号

功能名称

功能描述

阶段

相关文档

1

DLI新增资源标签相关的API

DLI新增资源标签相关的API,介绍使用API添加资源标签、查询资源标签的相关API操作指导。

商用

批量添加资源标签

2024年10月

序号

功能名称

功能描述

阶段

相关文档

1

优化DLI委托相关内容

优化DLI委托相关内容,介绍DLI委托的类型和应用场景。

商用

DLI委托概述

2

DLI API参考修改“API快速入门”中计算资源的创建方式

DLI API参考修改“API快速入门”中计算资源的创建方式,补充创建弹性资源池并添加队列的操作步骤。

商用

使用API创建并提交SQL作业

2024年09月

序号

功能名称

功能描述

阶段

相关文档

1

DLI用户指南新增“DLI作业开发流程”

DLI用户指南新增“DLI作业开发流程”,介绍DLI不同类型作业的操作。

商用

DLI作业开发流程

2024年08月

序号

功能名称

功能描述

阶段

相关文档

1

优化DLI用户指南

  • 新增DLI作业开发流程。
  • 新增使用DLI云服务的准备工作。
  • 新增迁移外部数据源至DLI的操作指导,提供典型场景的迁移案例。
  • 新增DLI云数据章节,介绍表、数据源、数据目录、元数据的基本概念。
  • 优化DLI读写外部数据源数据的手册结构,补充使用DEW管理数据源访问凭证的操作指导。
  • 优化不同作业类型的作业的使用指南的手册结构。
  • 下线:经典型跨源连接操作指南、创建Flink SQL作业操作指导。

商用

迁移数据场景概述

了解表、数据库、数据目录

使用DEW管理数据源访问凭证

2024年07月

序号

功能名称

功能描述

阶段

相关文档

1

优化DLI快速入门

DLI快速入门优化:

  • 适配DLI新的引擎版本。
  • 介绍使用DLI弹性资源池队列提交作业的操作步骤。

商用

使用DLI提交SQL作业查询OBS数据

使用DLI提交SQL作业查询RDS MySQL数据

使用DLI提交Flink OpenSource SQL作业查询RDS MySQL数据

2024年05月

序号

功能名称

功能描述

阶段

相关文档

1

新增Flink Opensource SQL相关审计事件

DLI新增Flink Opensource SQL相关审计事件。

商用

云审计服务支持的DLI操作列表说明

2

DLI支持访问共享VPC资源

DLI支持建立DLI与共享VPC中资源的网络连接,且在提交作业时访问共享VPC中的资源。

商用

建立DLI与共享VPC中资源的网络连接

2024年04月

序号

功能名称

功能描述

阶段

相关文档

1

新增支持Spark 3.3.1版本

DLI遵循开源Spark计算引擎的发布一致性,新增支持Spark 3.3.1版本。

商用

Spark语法参考

2

新增支持Flink 1.15版本

DLI遵循开源Flink 计算引擎的发布一致性,新增支持Flink 1.15版本。

商用

Flink OpenSource SQL1.15语法参考

3

DLI支持支持可视化配置SQL防御策略

DLI支持支持可视化配置SQL防御策略,实现对典型大SQL、低质量SQL的主动防御,包括事前提示、拦截和事中熔断。

商用

配置SQL防御规则

4

DLI委托权限最小化

DLI升级了系统委托,将原有的dli_admin_agency升级为dli_management_agency,新的委托包含获取IAM用户信息、跨源操作、消息通知所需的权限。有效避免DLI相关联服务权限不受控制的问题。

商用

更新DLI委托权限

2024年03月

序号

功能名称

功能描述

阶段

相关文档

1

新增标签策略使用约束限制

DLI新增标签策略使用约束限制,即按组织设定的标签策略规则为资源添加标签。

商用

标签管理

2024年02月

序号

功能名称

功能描述

阶段

相关文档

1

新增Spark开源命令支持说明

DLI新增Spark开源命令支持说明。

商用

Spark开源命令支持说明

2024年01月

序号

功能名称

功能描述

阶段

相关文档

1

新增3.1.1版本依赖包信息

DLI新增3.1.1版本依赖包信息。

商用

内置依赖包

2

新增数据赋权API

DLI新增数据赋权API,用于将数据库或数据表的数据权限赋给指定的其他用户或项目。

商用

数据赋权

3

新增弹性资源池相关监控指标

DLI新增弹性资源池相关监控指标。

商用

数据湖探索监控指标说明

2023年11月

序号

功能名称

功能描述

阶段

相关文档

1

DLI新增计费说明手册

新增“计费说明”手册,介绍DLI计费项、计费说明、计费样例等信息。

商用

DLI计费说明

2

优化DLI Spark SQL语法参考中的示例

优化DLI Spark SQL语法参考中的示例,补充更多创建OBS表和DLI表的示例信息。

商用

使用DataSource语法创建OBS表

使用Hive语法创建OBS表

使用DataSource语法创建DLI表

使用Hive语法创建DLI表

2023年09月

序号

功能名称

功能描述

阶段

相关文档

1

SQL作业支持查看“CPU累计使用量”和“输出字节”

新增SQL作业详情支持查看“CPU累计使用量”和“输出字节”功能。

商用

SQL作业管理

2

补充关于SDK安装包中.sha256文件说明

充关于SDK安装包中的.sha256文件的下载说明。

商用

SDK安装前提条件

2023年08月

序号

功能名称

功能描述

阶段

相关文档

1

全局变量权限

新增全局变量权限功能。

商用

全局变量权限管理

2

分配队列至项目

新增分配队列至项目功能。

商用

分配队列至项目

2023年07月

序号

功能名称

功能描述

阶段

相关文档

1

产品介绍新增“DLI约束限制”

产品介绍新增“DLI约束限制”,补充DLI相关功能约束限制说明。

商用

约束限制

2

弹性资源池

介绍弹性资源池的基本操作。

公测

弹性资源池

2023年06月

序号

功能名称

功能描述

阶段

相关文档

1

提供Spark3.1.1镜像

新增Spark3.1.1镜像下载地址。

商用

Spark3.1.1镜像

2

优化增强型跨源连接操作指导

介绍增强型跨源连接的操作步骤。

商用

增强型跨源连接

3

优化跨源认证操作指导

介绍跨源认证的相关操作。

商用

跨源认证

4

新增Spark内置函数

新增Spark内置函数中的数学函数、日期函数、字符串函数、其他函数。

商用

内置函数

2023年05月

序号

功能名称

功能描述

阶段

相关文档

1

设置作业优先级

介绍如何设置作业的优先级。

商用

设置作业优先级

2

开启Flink作业动态扩缩容

介绍如何开启Flink作业动态扩缩容。

商用

开启Flink作业动态扩缩容

2023年04月

序号

功能名称

功能描述

阶段

相关文档

1

DLI队列标签管理

修改队列标签键和标签值的说明。

商用

队列标签管理

2022年12月

序号

功能名称

功能描述

阶段

相关文档

1

新增模板相关API

新增“创建作业模板”、“更新SQL模板”等相关API。

商用

模板相关API

2

新增“创建跨源认证”、“创建路由”等跨源相关API

新增“创建跨源认证”、“获取跨源认证列表”、“更新跨源认证”、“删除跨源认证”、“创建路由”、“删除路由”等跨源相关API。

商用

跨源认证相关API

创建路由

删除路由

2022年10月

序号

功能名称

功能描述

阶段

相关文档

1

新增DLI队列与公网网络打通方案

通过配置SNAT规则,添加到公网的路由信息,实现DLI队列到和公网的网络打通。

商用

配置DLI 队列与公网网络联通

2022年07月

序号

功能名称

功能描述

阶段

相关文档

1

DLI开发指南新增“使用Flink Jar连接开启SASL_SSL认证的Kafka”

介绍使用Flink Jar连接开启SASL_SSL认证的Kafka的操作方法。

商用

使用Flink Jar连接开启SASL_SSL认证的Kafka

2022年05月

序号

功能名称

功能描述

阶段

相关文档

1

DLI支持Flink OpenSource SQL 1.12语法

DLI支持创建Flink OpenSource SQL 1.12语法作业。

商用

Flink OpenSource SQL1.12语法参考

2022年04月

序号

功能名称

功能描述

阶段

相关文档

1

DLI最佳实践新增“使用CDM迁移数据到DLI”

通过云数据迁移服务CDM轻松的将其他云服务或者业务平台的数据迁移至DLI。

商用

通过CDM数据同步功能迁移MRS Hive数据至DLI

2022年03月

序号

功能名称

功能描述

阶段

相关文档

1

DLI开发指南新增“在Spark SQL作业中使用UDTF”操作指导

DLI支持用户使用Hive UDTF(User-Defined Table-Generating Functions)自定义表值函数,UDTF用于解决一进多出业务场景的业务需求。

商用

在Spark SQL作业中使用UDTF

2

DLI开发指南新增“使用Spark Jar作业读取和查询OBS数据”操作指导

介绍编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业等完整的操作步骤。

商用

使用Spark Jar作业读取和查询OBS数据

2021年09月

序号

功能名称

功能描述

阶段

相关文档

1

Flink OpenSource SQL增加ClickHouse和userDefined等语法说明

Flink OpenSource SQL增加userDefined源表、userDefined结果表以及ClickHouse结果表的语法说明。

商用

userDefined源表

userDefined结果表

ClickHouse结果表

2021年02月

序号

功能名称

功能描述

阶段

相关文档

1

支持Flink 1.11版本

DLI支持Flink 1.11版本特性。

商用

Apache Flink Documentation

2

DLI支持数据多版本

DLI提供多版本功能,用于数据的备份与恢复。

商用

开启或关闭多数据版本

2020年08月

序号

功能名称

功能描述

阶段

相关文档

1

支持存储量套餐包

DLI增加存储量套餐包,降低数据存储在DLI中的费用。

商用

计费说明

2020年06月

序号

功能名称

功能描述

阶段

相关文档

1

计算队列支持跨AZ双活

DLI跨AZ队列能够为用户提供跨区域容灾的能力,提高计算的可靠性。

商用

队列管理概述

2

支持Spark作业开发者模式

用户可以在DLI管理控制台采用API接口模式设置参数及参数值。

商用

创建批处理作业API

2020年05月

序号

功能名称

功能描述

阶段

相关文档

1

支持数据扫描量套餐包

DLI增加数据扫描量套餐包,降低数据扫描量费用。

商用

计费说明

2

支持全局变量功能

DLI支持设置全局变量,用于保护用户关键信息。

商用

全局变量

2020年04月

序号

功能名称

功能描述

阶段

相关文档

1

支持IAM细粒度授权

DLI支持通过IAM进行细粒度授权。

商用

创建自定义策略

2

支持Flink 1.10

DLI支持Flink 1.10版本特性。

商用

Apache Flink Documentation

2020年03月

序号

功能名称

功能描述

阶段

相关文档

1

支持Spark程序访问DLI元数据

DLI支持通过Spark作业访问DLI元数据。

商用

使用Spark作业访问DLI元数据

2020年01月

序号

功能名称

功能描述

阶段

相关文档

1

支持Flink流作业

DLI上线Flink流作业,完全兼容Apache Flink和Spark API,即时执行Stream SQL或自定义作业,提供实时处理流式大数据的全栈能力。

商用

Flink作业管理概述