更新时间：2024-08-06 GMT+08:00
Spark 3.1.1版本说明
数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。
更多Spark 3.1.1版本说明请参考Spark Release Notes。
Spark 3.1.1版本发布时间
|
版本名称 |
发布时间 |
状态 |
EOM时间 |
EOS时间 |
|---|---|---|---|---|
|
DLI Spark 3.1.1 |
2021年12月 |
已发布 |
2023年12月31日 |
2024年12月31日 |
更多版本支持信息请参考DLI计算引擎版本生命周期。
Spark 3.1.1版本说明
下表列举了Spark 3.1.1 版本主要的功能特性。
更多版本新特性请参考Release Notes - Spark 3.1.1。
- 【SPARK-33050】：Apache ORC升级到1.5.12。
- 【SPARK-33092】：增强子表达式消减。
- 【SPARK-33480】：支持char/varchar数据类型。
- 【SPARK-32302】: 部分谓词下推优化。
- 【SPARK-30648】：支持JSON datasource表谓词下推。
- 【SPARK-32346】：支持avro datasource表谓词下推 。
- 【SPARK-32461】：shuffle hash join优化。
- 【SPARK-32272】：添加SQL标准命令SET TIME ZONE。
- 【SPARK-21492】：修复排序合并加入中的内存泄漏。
- 【SPARK-27812】：K8S客户端版本提升到4.6.1。
DLI从Spark 3.x版本开始不支持内置地理空间查询函数。
父主题： 版本支持公告
