文档首页/ MapReduce服务 MRS/ 组件操作指南（LTS版）/ 使用Hudi/ Hudi Schema演进/ 配置SparkSQL支持Hudi Schema演进
更新时间：2024-05-28 GMT+08:00
查看PDF
分享

配置SparkSQL支持Hudi Schema演进

  • Schema演进开启后不能关闭。
  • 本章节仅适用于MRS 3.2.0及之前版本。
  • 使用spark-beeline时，需要登录Manager页面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。

    在搜索栏中搜索参数“spark.sql.extensions”，修改JDBCServer的spark.sql.extensions参数值为：org.apache.spark.sql.hive.FISparkSessionExtension,org.apache.spark.sql.hudi.HoodieSparkSessionExtension,org.apache.spark.sql.hive.CarbonInternalExtensions

  • 如果是SQL操作，执行SQL前需要执行： 
    set hoodie.schema.evolution.enable=true
  • 如果是API操作，DataFrame options里面需要指定： 
    hoodie.schema.evolution.enable -> true
父主题： Hudi Schema演进