最新动态

1

优化SQL防御规则的参数说明

DLI优化SQL防御规则的参数说明，新增DLI支持的系统防御规则列表。

商用

使用API创建SQL防御规则

1

DLI新增弹性资源池实际CUs、已使用CUs等相关基本概念的介绍

DLI新增弹性资源池实际CUs、已使用CUs等相关基本概念的介绍、队列相关基本概念的介绍。

--

DLI基本概念

1

DLI新增权限管理概述和配置示例

DLI服务有两套权限体系，两种权限控制机制共同使用，权限相互叠加，且权限机制可以互补，共同提供更全面的权限控制。
DLI用户指南新增权限体系概述和典型场景权限配置示例。

商用

DLI权限体系概述

1

DLI成长地图焕新

DLI成长地图焕新，帮助信息一站式速查。从图说DLI到操作指导，再到视频讲解，从入门到进阶，满足不同场景的信息速查需求。

商用

DLI成长地图

2

DLI产品介绍新增“DLI支持的开发工具”和“DLI生态对接”

DLI产品介绍新增“DLI支持的开发工具”和“DLI生态对接”：

• 介绍DLI支持的连接方式和具体的应用场景。
• 介绍DLI支持连接的商业智能BI工具。

商用

DLI支持的开发工具

DLI生态对接

3

DLI新增“弹性资源池扩容或缩容”

DLI新增“弹性资源池扩容或缩容”，介绍弹性资源池相关基本概念、介绍调整资源池的“实际CUs”的触发方式和计算公式。

商用

弹性资源池扩容或缩容

4

补充“增强型跨源连接”相关原理知识

介绍增强型跨源连接的原理知识、操作流程，补充说明“配置启动了IPv6地址的网络连接”的操作指导。

商用

创建增强型跨源连接

5

新增“使用DEW管理数据源访问凭证方法概述”

介绍不同作业类型使用数据加密服务DEW存储数据源的认证信息的操作方法。

商用

使用DEW管理数据源访问凭证方法概述

6

DLI新增最佳实践汇聚页面

DLI新增最佳实践汇聚页面，按业务场景一键直达，涵盖安全、数据迁移场景、湖仓一体等多个应用场景的最佳实践。

--

最佳实践内容概览

1

DLI产品介绍新增介绍视频

DLI产品介绍新增DLI产品介绍视频、DLI链接方式、DLI生态信息。

商用

数据湖探索简介

2

DLI用户指南新增数据目录相关介绍

DLI用户指南新增数据目录相关介绍，并给出创建数据目录的操作指导。

商用

了解数据目录、数据库和表

1

新增队列属性设置API

新增队列属性API，例如通过设置队列的Spark driver，以提升队列资源的调度效率。

商用

新增队列属性

获取队列属性

1

DLI新增支持设置作业保存策略

设置是否开启队列的作业查询结果保存至DLI作业桶。

仅Spark SQL队列支持设置该参数。

一旦开启此功能，将无法关闭，作业结果将始终保存至用户设置的DLI作业桶。

商用

队列属性设置

1

DLI支持队列主流BI工具

新增SuperSet直接通过DLI提供的驱动连接到DLI。

商用

配置Superset连接DLI进行数据查询和分析

2

弹性资源池扩缩容约束限制说明

新增弹性资源池扩缩容约束限制说明。

商用

DLI弹性资源池与队列简介

1

DLI支持队列主流BI工具

DLI服务通过对数据的融合分析处理，可以为BI工具提供标准的、有效的高质量数据，供给后续的数据统计分析使用。

DLI为BI工具提供了便捷的连接方法：

• DBeaver、DBT和YongHong BI，可以直接通过DLI提供的驱动连接到DLI。
• PowerBI、Fine BI、SuperSet、Tableau和Beeline可以通过Kyuubi建立与DLI的连接。

商用

BI工具连接DLI方案概述

2

新增“在DataArts Studio开发DLI SQL作业”的操作指导

华为云数据治理中心DataArts Studio提供了一站式数据治理平台，可以实现与DLI服务的对接，从而提供统一的数据集成、数据开发服务，方便企业对全部数据进行管控。

DLI提供了在DataArts Studio开发DLI SQL作业的操作步骤。

商用

在DataArts Studio开发DLI SQL作业

1

DLI支持对接AOM Prometheus监控

AOM服务提供的Prometheus监控是一种全面对接开源Prometheus生态的监控解决方案。

Flink 1.15版本支持对接AOM Prometheus监控。

商用

配置DLI对接AOM Prometheus监控

2

DLI支持对接LakeFormation实现元数据

LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理能力。在Spark作业和SQL作业场景，支持对接LakeFormation实现元数据的统一管理。

公测

DLI对接LakeFormation

3

DLI新增支持HetuEngine

数据湖探索兼容HetuEngine生态。

如果队列类型选择为“SQL队列”，则可以选择HetuEngine引擎的队列。

公测

创建HetuEngine引擎的队列

1

DLI新增资源标签相关的API

DLI新增资源标签相关的API，介绍使用API添加资源标签、查询资源标签的相关API操作指导。

商用

批量添加资源标签

1

优化DLI委托相关内容

优化DLI委托相关内容，介绍DLI委托的类型和应用场景。

商用

DLI委托概述

2

DLI API参考修改“API快速入门”中计算资源的创建方式

DLI API参考修改“API快速入门”中计算资源的创建方式，补充创建弹性资源池并添加队列的操作步骤。

商用

使用API创建并提交SQL作业

1

DLI用户指南新增“DLI作业开发流程”

DLI用户指南新增“DLI作业开发流程”，介绍DLI不同类型作业的操作流程。

商用

DLI作业开发流程

1

优化DLI用户指南

• 新增DLI作业开发流程。
• 新增使用DLI云服务的准备工作。
• 新增迁移外部数据源至DLI的操作指导，提供典型场景的迁移案例。
• 新增DLI云数据章节，介绍表、数据源、数据目录、元数据的基本概念。
• 优化DLI读写外部数据源数据的手册结构，补充使用DEW管理数据源访问凭证的操作指导。
• 优化不同作业类型的作业的使用指南的手册结构。
• 下线：经典型跨源连接操作指南、创建Flink SQL作业操作指导。

商用

DLI作业开发流程

迁移数据场景概述

了解表、数据库、数据目录

使用DEW管理数据源访问凭证

1

优化DLI快速入门

DLI快速入门优化：

• 适配DLI新的引擎版本。
• 介绍使用DLI弹性资源池队列提交作业的操作步骤。

商用

使用DLI提交SQL作业查询OBS数据

使用DLI提交SQL作业查询RDS MySQL数据

使用DLI提交Flink OpenSource SQL作业查询RDS MySQL数据

1

新增Flink Opensource SQL相关审计事件

DLI新增Flink Opensource SQL相关审计事件。

商用

云审计服务支持的DLI操作列表说明

2

DLI支持访问共享VPC资源

DLI支持建立DLI与共享VPC中资源的网络连接，且在提交作业时访问共享VPC中的资源。

商用

建立DLI与共享VPC中资源的网络连接

1

新增支持Flink 1.15版本

DLI遵循开源Flink 计算引擎的发布一致性，新增支持Flink 1.15版本。

商用

Flink OpenSource SQL1.15语法参考

2

新增支持Spark 3.3.1版本

DLI遵循开源Spark计算引擎的发布一致性，新增支持Spark 3.3.1版本。

商用

Spark语法参考

3

DLI委托权限最小化

DLI升级了系统委托，将原有的dli_admin_agency升级为dli_management_agency，新的委托包含获取IAM用户信息、跨源操作、消息通知所需的权限。有效避免DLI相关联服务权限不受控制的问题。

商用

更新DLI委托权限

4

DLI支持支持可视化配置SQL防御策略

DLI支持支持可视化配置SQL防御策略，实现对典型大SQL、低质量SQL的主动防御，包括事前提示、拦截和事中熔断。

商用

配置SQL防御规则

1

新增标签策略使用约束限制

DLI新增标签策略使用约束限制，即按组织设定的标签策略规则为资源添加标签。

商用

标签管理

1

新增Spark开源命令支持说明

DLI新增Spark开源命令支持说明。

商用

Spark开源命令支持说明

1

新增数据赋权API

DLI新增数据赋权API，用于将数据库或数据表的数据权限赋给指定的其他用户或项目。

商用

数据赋权

2

新增弹性资源池相关监控指标

DLI新增弹性资源池相关监控指标。

商用

数据湖探索监控指标说明

3

新增3.1.1版本依赖包信息

DLI新增3.1.1版本依赖包信息。

商用

内置依赖包

1

优化DLI Spark SQL语法参考中的示例

优化DLI Spark SQL语法参考中的示例，补充更多创建OBS表和DLI表的示例信息。

商用

使用DataSource语法创建OBS表

1

优化Spark内置函数

优化Spark内置函数内容，补充函数功能介绍、参数说明、返回值说明和示例代码。

商用

内置函数

1

全局变量权限管理

新增全局变量权限管理功能。

商用

全局变量权限管理

2

设置队列属性

新增设置队列属性功能。

商用

队列属性设置

3

SQL作业支持查看“CPU累计使用量”和“输出字节”。

新增SQL作业详情支持查看“CPU累计使用量”和“输出字节”功能。

商用

SQL作业管理

4

分配队列至项目

新增分配队列至项目功能。

商用

分配队列至项目

1

提供Flink 1.12镜像

新增Flink 1.12镜像下载地址。

商用

下载基础镜像

2

产品介绍新增“DLI约束限制”

产品介绍新增“DLI约束限制”，补充DLI相关功能约束限制说明。

商用

约束限制

3

DLI新增计费说明手册

新增“计费说明”手册，介绍DLI计费项、计费说明、计费样例等信息。

商用

DLI计费说明

4

补充队列扩缩容约束限制

新增队列扩缩容约束限制：

• 16CUs队列不支持扩容、缩容。
• 64CUs队列不支持缩容。

商用

队列弹性扩缩容

1

提供Spark3.1.1镜像

新增Spark3.1.1镜像下载地址。

商用

Spark3.1.1镜像下载地址

2

优化跨源认证操作指导

介绍跨源认证的相关操作。

商用

跨源认证

3

优化增强型跨源连接操作指导

介绍增强型跨源连接的操作步骤。

商用

增强型跨源连接

4

新增Spark内置函数

新增Spark内置函数中的、数字函数、日期函数、字符串函数、其他函数。

商用

内置函数

1

开启Flink作业动态扩缩容

介绍如何开启Flink作业动态扩缩容。

商用

开启Flink作业动态扩缩容

2

设置作业优先级

介绍如何设置作业的优先级。

商用

设置作业优先级

1

DLI队列标签管理

修改队列标签键和标签值的说明。

商用

队列标签管理

1

DLI库表支持标签管理

介绍如何为库表添加标签、修改标签和删除标签。

商用

库表管理标签管理

2

新增使用Flink Jar读写DIS开发指南

基于Flink 1.12版本的Flink Jar作业介绍读写DIS数据的操作方法。

商用

使用Flink Jar读写DIS开发指南

1

新增模板相关API

新增“创建作业模板”、“更新SQL模板”等相关API。

商用

模板相关API

2

新增“创建跨源认证”、“创建路由”等跨源相关API

新增“创建跨源认证”、“获取跨源认证列表”、“更新跨源认证”、“删除跨源认证”、“创建路由”、“删除路由”等跨源相关API。

商用

跨源认证相关API

创建路由

删除路由

1

DLI开发指南新增“使用Flink Jar连接开启SASL_SSL认证的Kafka”

介绍使用Flink Jar连接开启SASL_SSL认证的Kafka的操作方法。

商用

使用Flink Jar连接开启SASL_SSL认证的Kafka

1

弹性资源池功能

弹性资源池后端采用CCE集群的架构，支持异构，对资源进行统一的管理和调度。不同队列之间资源隔离，减少队列之间的相互影响。分钟级别扩缩容，从容应对流量洪峰和资源诉求。支持分时设置队列优先级和配额，提高资源利用率。

公测

使用弹性资源池

2

DLI支持Flink OpenSource SQL 1.12语法

DLI支持创建Flink OpenSource SQL 1.12语法作业。

商用

Flink OpenSource SQL1.12语法参考

1

开发指南中新增“在Spark SQL作业中使用UDTF”操作指导

DLI支持用户使用Hive UDTF（User-Defined Table-Generating Functions）自定义表值函数，UDTF用于解决一进多出业务场景，即其输入与输出是一对多的关系，读入一行数据，输出多个值。

商用

在Spark SQL作业中使用UDTF

2

开发指南中新增“使用Spark Jar作业读取和查询OBS数据”操作指导

本指导从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业等完整的操作步骤说明来帮助您在DLI上进行作业开发。

商用

使用Spark Jar作业读取和查询OBS数据

1

下线创建会话和查看会话相关API接口

下线创建会话API接口

下线查看会话API接口

商用

API参考

1

Flink Jar作业支持写入数据到OBS

DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力

商用

使用Flink Jar写入数据到OBS开发指南

2

Flink OpenSource SQL增加ClickHouse和userDefined等语法说明

Flink OpenSource SQL增加userDefined源表、userDefined结果表以及ClickHouse结果表的语法说明

商用

userDefined源表

userDefined结果表

ClickHouse结果表

1

支持用户本地Notebook工具对接

商用

使用Livy提交Spark作业

1

支持数据多版本

商用

开启或关闭数据多版本

1

Spark作业支持访问SQL表数据

商用

使用Spark作业访问DLI表

1

支持用户自定义镜像

商用

自定义镜像

1

集成TPC-H测试套件

商用

TPC-H使用指导

2

支持计算队列定时扩缩容

商用

定时扩容/缩容

3

支持存储量套餐包

商用

产品价格详情

1

计算队列支持跨AZ双活

商用

队列管理概述

2

支持Spark作业开发者模式

商用

创建批处理作业API

1

支持全局变量功能

商用

全局变量

2

支持数据扫描量套餐包

商用

产品价格详情

1

支持IAM细粒度授权

商用

DLI自定义策略

1

支持Spark程序访问DLI表

商用

使用Spark作业访问DLI表

2

支持计算队列手动扩缩容

商用

手动扩容/缩容

1

支持Flink流作业

商用

Flink作业管理概述

1

支持鲲鹏计算集群

DLI支持鲲鹏CPU架构。

商用

创建队列

1

支持SparkUI查看作业详情

商用

Class SparkUI

1

异构数据源联邦分析支持MRS OpenTSDB

商用

对接Open TSDB样例代码

2

支持包周期队列

商用

产品价格详情

1

计算引擎支持Spark2.3.2

商用

DLI内置依赖包

2

异构数据源联邦分析支持CSS

商用

对接CSS样例代码