文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型训练推理/ 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907）/ 训练脚本说明/ 各个模型深度学习训练加速框架的选择
更新时间：2024-08-17 GMT+08:00
查看PDF
分享

各个模型深度学习训练加速框架的选择

  1. LlamaFactory框架使用两种训练框架：
    • DeepSpeed和Accelerate都是针对深度学习训练加速的工具，但是它们的实现方式和应用场景有所不同。
      • DeepSpeed是一种深度学习加速框架，主要针对大规模模型和大规模数据集的训练。DeepSpeed的核心思想是在单个GPU上实现大规模模型并行训练，从而提高训练速度。DeepSpeed提供了一系列的优化技术，如ZeRO内存优化、分布式训练等，可以帮助用户更好地利用多个GPU进行训练
      • Accelerate是一种深度学习加速框架，主要针对分布式训练场景。Accelerate的核心思想是通过模型并行和数据并行来实现分布式训练，从而提高训练速度。Accelerate提供了一系列的优化技术，如模型切分、梯度累积等，可以帮助用户更好地利用多个节点进行训练。
  2. 各个模型选用加速框架
    表1 模型加速框架建议表

    序号

    模型参数量

    文本序列长度

    优化工具(Deepspeed&Accelerator)

    0

    小于4B

    cutoff_len=4096

    Deepspeed-ZeRO-0

    cutoff_len=8192

    Deepspeed-ZeRO-0

    1

    小于7B

    cutoff_len=4096

    Deepspeed-ZeRO-1

    cutoff_len=8192

    Deepspeed-ZeRO-1

    2

    7B至13B

    cutoff_len=4096

    Deepspeed-ZeRO-2

    cutoff_len=8192

    Deepspeed-ZeRO-2

    3

    14B-72B

    cutoff_len=4096

    Deepspeed-ZeRO-3

    cutoff_len=8192

    Deepspeed-ZeRO-3

    以上为建议值，上述参数值仅供参考，如需配置其他加速框架或ZeRO (Zero Redundancy Optimizer)优化器用户可自行选用配置。

父主题： 训练脚本说明

相关文档