更新时间:2026-07-03 GMT+08:00
分享

Iceberg Native参数开关和数据类型支持

参数开关

Spark引擎使用以下参数控制Native功能开关:

Spark  
spark.sql.native-read=true       // 开启 Native 读  
spark.sql.native-write=true      // 开启 Native 写  
spark.sql.iceberg.vectorization.enabled = true // 三者同时为true时开启 Native Compaction

数据类型支持

Native Layer当前支持 Iceberg的基础数据类型请参见表1 Iceberg Native支持的数据类型

表1 Iceberg Native支持的数据类型

Iceberg 类型

Spark

boolean

boolean

integer

integer

long

long

float

float

double

double

date

date

timestamp(tz)

timestamp_ntz

string

string

fixed(N)

binary(N)

binary

binary

decimal(P,S)

decimal(P,S)

variant

variant

嵌套列、geometry、geography、nanosecond timestamp、time 等复杂类型暂不支持。引擎遇到不支持的类型时会自动Fallback到原生实现。

相关文档