最新动态
本文介绍了数据湖探索 DLI各特性版本的功能发布和对应的文档动态，欢迎体验。
2025年01月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
DLI支持队列主流BI工具 |
DLI服务通过对数据的融合分析处理，可以为BI工具提供标准的、有效的高质量数据，供给后续的数据统计分析使用。 DLI为BI工具提供了便捷的连接方法：
|
商用 |
|
|
2 |
新增“在DataArts Studio开发DLI SQL作业”的操作指导 |
华为云数据治理中心DataArts Studio提供了一站式数据治理平台，可以实现与DLI服务的对接，从而提供统一的数据集成、数据开发服务，方便企业对全部数据进行管控。 DLI提供了在DataArts Studio开发DLI SQL作业的操作步骤。 |
商用 |
2024年12月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
DLI支持对接AOM Prometheus监控 |
AOM服务提供的Prometheus监控是一种全面对接开源Prometheus生态的监控解决方案。 Flink 1.15版本支持对接AOM Prometheus监控。 |
商用 |
|
|
2 |
DLI支持对接LakeFormation实现元数据 |
LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理能力。在Spark作业和SQL作业场景，支持对接LakeFormation实现元数据的统一管理。 |
公测 |
|
|
3 |
DLI新增支持HetuEngine |
数据湖探索兼容HetuEngine生态。 如果队列类型选择为“SQL队列”，则可以选择HetuEngine引擎的队列。 |
公测 |
2024年11月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
DLI新增资源标签相关的API |
DLI新增资源标签相关的API，介绍使用API添加资源标签、查询资源标签的相关API操作指导。 |
商用 |
2024年10月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
DLI API参考修改“API快速入门”中计算资源的创建方式 |
DLI API参考修改“API快速入门”中计算资源的创建方式，补充创建弹性资源池并添加队列的操作步骤。 |
商用 |
|
|
2 |
优化DLI委托相关内容 |
优化DLI委托相关内容，介绍DLI委托的类型和应用场景。 |
商用 |
2024年09月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
DLI用户指南新增“DLI作业开发流程” |
DLI用户指南新增“DLI作业开发流程”，介绍DLI不同类型作业的操作流程。 |
商用 |
2024年08月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
优化DLI用户指南 |
|
商用 |
2024年07月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
优化DLI快速入门 |
DLI快速入门优化：
|
商用 |
2024年05月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
DLI支持访问共享VPC资源 |
DLI支持建立DLI与共享VPC中资源的网络连接，且在提交作业时访问共享VPC中的资源。 |
商用 |
|
|
2 |
新增Flink Opensource SQL相关审计事件 |
DLI新增Flink Opensource SQL相关审计事件。 |
商用 |
2024年04月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增支持Spark 3.3.1版本 |
DLI遵循开源Spark计算引擎的发布一致性，新增支持Spark 3.3.1版本。 |
商用 |
|
|
2 |
新增支持Flink 1.15版本 |
DLI遵循开源Flink 计算引擎的发布一致性，新增支持Flink 1.15版本。 |
商用 |
|
|
3 |
DLI支持支持可视化配置SQL防御策略 |
DLI支持支持可视化配置SQL防御策略，实现对典型大SQL、低质量SQL的主动防御，包括事前提示、拦截和事中熔断。 |
商用 |
|
|
4 |
DLI委托权限最小化 |
DLI升级了系统委托，将原有的dli_admin_agency升级为dli_management_agency，新的委托包含获取IAM用户信息、跨源操作、消息通知所需的权限。有效避免DLI相关联服务权限不受控制的问题。 |
商用 |
2024年03月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增标签策略使用约束限制 |
DLI新增标签策略使用约束限制，即按组织设定的标签策略规则为资源添加标签。 |
商用 |
2024年02月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增Spark开源命令支持说明 |
DLI新增Spark开源命令支持说明。 |
商用 |
2024年01月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增数据赋权API |
DLI新增数据赋权API，用于将数据库或数据表的数据权限赋给指定的其他用户或项目。 |
商用 |
|
|
2 |
新增3.1.1版本依赖包信息 |
DLI新增3.1.1版本依赖包信息。 |
商用 |
|
|
3 |
新增弹性资源池相关监控指标 |
DLI新增弹性资源池相关监控指标。 |
商用 |
2023年11月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
优化DLI Spark SQL语法参考中的示例 |
优化DLI Spark SQL语法参考中的示例，补充更多创建OBS表和DLI表的示例信息。 |
商用 |
2023年09月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
优化Spark内置函数 |
优化Spark内置函数内容，补充函数功能介绍、参数说明、返回值说明和示例代码。 |
商用 |
2023年08月
2023年07月
2023年06月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
提供Spark3.1.1镜像 |
新增Spark3.1.1镜像下载地址。 |
商用 |
|
|
2 |
优化跨源认证操作指导 |
介绍跨源认证的相关操作。 |
商用 |
|
|
3 |
优化增强型跨源连接操作指导 |
介绍增强型跨源连接的操作步骤。 |
商用 |
|
|
4 |
新增Spark内置函数 |
新增Spark内置函数中的、数字函数、日期函数、字符串函数、其他函数。 |
商用 |
2023年05月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
开启Flink作业动态扩缩容 |
介绍如何开启Flink作业动态扩缩容。 |
商用 |
|
|
2 |
设置作业优先级 |
介绍如何设置作业的优先级。 |
商用 |
2023年04月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
DLI队列标签管理 |
修改队列标签键和标签值的说明。 |
商用 |
2023年03月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
DLI库表支持标签管理 |
介绍如何为库表添加标签、修改标签和删除标签。 |
商用 |
|
|
2 |
新增使用Flink Jar读写DIS开发指南 |
基于Flink 1.12版本的Flink Jar作业介绍读写DIS数据的操作方法。 |
商用 |
2022年12月
2022年07月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
DLI开发指南新增“使用Flink Jar连接开启SASL_SSL认证的Kafka” |
介绍使用Flink Jar连接开启SASL_SSL认证的Kafka的操作方法。 |
商用 |
2022年05月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
弹性资源池功能 |
弹性资源池后端采用CCE集群的架构，支持异构，对资源进行统一的管理和调度。不同队列之间资源隔离，减少队列之间的相互影响。分钟级别扩缩容，从容应对流量洪峰和资源诉求。支持分时设置队列优先级和配额，提高资源利用率。 |
公测 |
|
|
2 |
DLI支持Flink OpenSource SQL 1.12语法 |
DLI支持创建Flink OpenSource SQL 1.12语法作业。 |
商用 |
2022年03月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
开发指南中新增“在Spark SQL作业中使用UDTF”操作指导 |
DLI支持用户使用Hive UDTF（User-Defined Table-Generating Functions）自定义表值函数，UDTF用于解决一进多出业务场景，即其输入与输出是一对多的关系，读入一行数据，输出多个值。 |
商用 |
|
|
2 |
开发指南中新增“使用Spark Jar作业读取和查询OBS数据”操作指导 |
本指导从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业等完整的操作步骤说明来帮助您在DLI上进行作业开发。 |
商用 |
2021年12月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
下线创建会话和查看会话相关API接口 |
下线创建会话API接口 下线查看会话API接口 |
商用 |
2021年09月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
Flink Jar作业支持写入数据到OBS |
DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力 |
商用 |
|
|
2 |
Flink OpenSource SQL增加ClickHouse和userDefined等语法说明 |
Flink OpenSource SQL增加userDefined源表、userDefined结果表以及ClickHouse结果表的语法说明 |
商用 |
2021年04月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持用户本地Notebook工具对接 |
DLI支持用户本地Notebook工具对接 |
商用 |
2021年02月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持数据多版本 |
DLI提供多版本功能，用于数据的备份与恢复。 |
商用 |
|
|
2 |
支持Flink 1.11版本 |
DLI支持Flink 1.11版本特性。 |
商用 |
2020年12月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
Spark作业支持访问SQL表数据 |
DLI支持用户通过提交Spark作业，在Spark作业中访问由SQL作业创建的DLI表。 |
商用 |
2020年10月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持用户自定义镜像 |
DLI支持容器部署的集群。在容器集群中，Spark作业和Flink作业相关组件都运行在容器中，通过下载DLI提供的自定义镜像，可以改变Spark作业和Flink作业的容器运行环境。 |
商用 |
2020年08月
2020年06月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
计算队列支持跨AZ双活 |
DLI跨AZ队列能够为用户提供跨区域容灾的能力，提高计算的可靠性。 |
商用 |
|
|
2 |
支持Spark作业开发者模式 |
用户可以在DLI管理控制台采用API接口模式设置参数及参数值。 |
商用 |
2020年05月
2020年04月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持Flink 1.10 |
DLI支持Flink 1.10版本特性。 |
商用 |
|
|
2 |
支持IAM细粒度授权 |
DLI支持通过IAM进行细粒度授权。 |
商用 |
2020年03月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持Spark程序访问DLI表 |
DLI支持通过Spark作业访问DLI表。 |
商用 |
|
|
2 |
支持计算队列手动扩缩容 |
DLI支持手动对队列进行扩缩容。 |
商用 |
2020年01月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持Flink流作业 |
DLI上线Flink流作业，完全兼容Apache Flink和Spark API，即时执行Stream SQL或自定义作业，提供实时处理流式大数据的全栈能力。 |
商用 |
2019年10月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持鲲鹏计算集群 |
DLI支持鲲鹏CPU架构。 |
商用 |
2019年08月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持SparkUI查看作业详情 |
DLI支持通过SparkUI页面查看作业运行的情况。 |
商用 |
2019年07月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
异构数据源联邦分析支持MRS OpenTSDB |
DLI跨源访问支持的服务增加MRS OpenTSDB。 |
商用 |
|
|
2 |
支持包周期队列 |
DLI支持 使用包年包月计费模式，可以更优惠。 |
商用 |
