DLI Spark 2.3.2版本停止服务（EOS）公告

公告说明

华为云计划于2023年12月31 00:00（北京时间）将Spark 2.3.2版本停止服务（EOS）。

影响

DLI Spark 2.3.2版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您在执行作业时选择新版本的Spark引擎，推荐使用DLI Spark 2.4.5版本。

正在使用DLI Spark 2.3.2版本的作业也请您尽快切换至新版本的Spark引擎，否则作业执行过程中出现的错误，不再提供该版本的任何技术服务支持。

如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。

常见问题

• DLI Spark 2.3.2版本停止服务后，正在使用该版本的作业有哪些影响？

  在Spark 2.3.2 EOS时间后创建的对队列，在执行作业时不支持选择已经EOS的计算引擎。

  历史创建的队列仍然可以使用Spark 2.3.2执行作业，但作业执行过程中出现的错误，不再提供该版本的任何技术服务支持，请您尽快更换至新版本的计算引擎。

• DLI Spark 2.3.2版本停止服务后，可以使用哪个版本替换？

  推荐使用DLI Spark 2.4.5版本。

• DLI Spark 2.4.5版本有哪些优势？

  表1 Spark 2.4.5版本优势

  特性	说明
  支持配置小文件合并	使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
  支持修改非分区表或分区表的列注释	修改非分区表或分区表的列注释。
  支持统计SQL作业的CPU消耗	支持在控制台查看“CPU累计使用量”。
  支持容器集群Spark日志跳转查看	需要在容器查看日志。
  支持动态加载UDF（公测）	无需重启队列UDF即可生效。
  Spark UI支持火焰图	Spark UI支持绘制火焰图。
  优化SQL作业NOT IN语句查询性能	NOT IN语句查询性能提升。
  优化Multi-INSERT语句查询性能	Multi-INSERT语句查询性能提升。

  更多升级Spark 2.4.5版本的优势请参考Spark SQL升级指导。

• 切换至新版本对DLI资源价格是否有影响？

  DLI按作业运行所需的计算资源和存储资源计费，与计算引擎版本无关。

• 如何升级到DLI Spark 2.4.5版本？
  1. 在DLI管理控制台，单击“作业管理 > Spark作业”。
  2. 在作业管理页面，单击作业操作列的“编辑”，进入作业运行参数编辑页面。
  3. 配置Spark版本，选择最新的Spark引擎版本，推荐使用Spark 2.4.5。