DLI Spark 3.1.1版本停止服务（EOS）公告

公告说明

华为云计划于2024年12月31 00:00（北京时间）将Spark 3.1.1版本停止服务（EOS）。

影响

DLI Spark 3.1.1版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您在执行作业时选择新版本的Spark引擎，推荐使用DLI Spark 3.3.1版本。

正在使用DLI Spark 3.1.1版本的作业也请您尽快切换至新版本的Spark引擎，否则作业执行过程中出现的错误，不再提供该版本的任何技术服务支持。

如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。

常见问题

• DLI Spark 3.1.1版本停止服务后，正在使用该版本的作业有哪些影响？

  在Spark 3.1.1 EOS时间后创建的队列，在执行作业时不支持选择已经EOS的计算引擎。

  历史创建的队列仍然可以使用Spark 2.3.2执行作业，但作业执行过程中出现的错误，不再提供该版本的任何技术服务支持，请您尽快更换至新版本的计算引擎。

• DLI Spark 3.1.1版本停止服务后，可以使用哪个版本替换？

  推荐使用DLI Spark 3.3.1版本。

• DLI Spark 3.3.1版本有哪些优势？

  表1 Spark 3.3.1版本优势

  特性	说明
  Native性能加速	Spark查询语句性能提升。
  元数据访问性能提升	提升Spark在处理大数据时的元数据访问性能，提高数据处理流程效率。
  提升OBS committer小文件写性能	提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。
  动态Executor shuffle数据优化	提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。
  支持配置小文件合并	使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
  支持修改非分区表或分区表的列注释	修改非分区表或分区表的列注释。
  支持统计SQL作业的CPU消耗	支持在控制台查看“CPU累计使用量”。
  支持容器集群Spark日志跳转查看	需要在容器查看日志。
  支持动态加载UDF（公测）	无需重启队列UDF即可生效。
  Spark UI支持火焰图	Spark UI支持绘制火焰图。
  优化SQL作业NOT IN语句查询性能	NOT IN语句查询性能提升。
  优化Multi-INSERT语句查询性能	Multi-INSERT语句查询性能提升。

• 切换至新版本对DLI资源价格是否有影响？

  DLI按作业运行所需的计算资源和存储资源计费，与计算引擎版本无关。

• 如何升级到DLI Spark 3.1.1版本？
  1. 在DLI管理控制台，购买弹性资源池和队列资源，用于提供执行作业所需的计算资源。
  2. 单击“作业管理 > Spark作业”，新建Spark作业。
  3. 在作业管理页面，单击作业操作列的“编辑”，进入作业运行参数编辑页面。
  4. 配置Spark版本，选择最新的Spark引擎版本，推荐使用Spark 3.3.1。