文档首页/ AI开发平台ModelArts/ 服务公告/ 产品发布说明/ 昇腾云服务6.3.909版本说明
更新时间：2024-10-22 GMT+08:00
查看PDF
分享

昇腾云服务6.3.909版本说明

本文档主要介绍昇腾云服务6.3.909版本配套的镜像地址、软件包获取方式和支持的特性能力。

当前版本仅适用于华为公有云。

配套的基础镜像

芯片

镜像地址

获取方式

镜像软件说明

配套关系

Snt9B

西南-贵阳一

PyTorch：

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt9b-20240910112800-2a95df3

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_2_ascend:pytorch_2.2.0-cann_8.0.rc3-py_3.10-hce_2.0.2406-aarch64-snt9b-20240910150953-6faa0ed

镜像发布到SWR，从SWR拉取

固件驱动：23.0.6

CANN：cann_8.0.rc3

容器镜像OS：hce_2.0

PyTorch：pytorch_2.1.0、pytorch_2.2.0

MindSpore：MindSpore 2.3.0

FrameworkPTAdapter：6.0.RC3

如果用到CCE，版本要求是CCE Turbo v1.28及以上

300iDUO

西南-贵阳一

PyTorch：

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b

镜像发布到SWR，从SWR拉取

固件驱动: 24.1.rc2.3

CANN：cann_8.0.rc3

容器镜像OS：hce_2.0

PyTorch：pytorch_2.1.0

MindSpore lite： 2.3.0

FrameworkPTAdapter：6.0.RC3

-

软件包获取地址

软件包名称

软件包说明

获取地址

AscendCloud-6.3.909-xxx.zip

包含

  1. 三方大模型训练和推理代码包：AscendCloud-LLM
  2. AIGC代码包：AscendCloud-AIGC
  3. CV代码包：AscendCloud-CV
  4. 算子依赖包：AscendCloud-OPP

获取路径：Support-E

说明：

如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

支持的特性

表1 本版本支持的特性说明

分类

软件包特性说明

参考文档

三方大模型，包名：AscendCloud-LLM

支持如下模型适配PyTorch-NPU的训练(ModelLink)

  1. llama2-7b
  2. llama2-13b
  3. llama2-70b
  4. qwen-7b
  5. qwen-14b
  6. qwen-72b
  7. baichuan2-13b
  8. chatglm3-6b
  9. llama3-8b
  10. llama3-70b
  11. yi-6B
  12. yi-34B
  13. qwen1.5-7B
  14. qwen1.5-14B
  15. qwen1.5-32B
  16. qwen1.5-72B
  17. qwen2-0.5b
  18. qwen2-1.5b
  19. qwen2-7b
  20. qwen2-72b
  21. glm4-9b
  22. mistral-7b
  23. mixtral-8x7b
  24. llama3.1-8b
  25. llama3.1-70b

支持如下模型适配PyTorch-NPU的训练(LlamaFactory)

  1. llama2-7b
  2. llama2-13b
  3. llama2-70b
  4. llama3-8b
  5. llama3-70b
  6. llama3.1-8b
  7. llama3.1-70b
  8. qwen1.5-0.5b
  9. qwen1.5-1.8b
  10. qwen1.5-4b
  11. qwen1.5-7b
  12. qwen1.5-14b
  13. yi-6b
  14. yi-34b
  15. qwen2-0.5b
  16. qwen2-1.5b
  17. qwen2-7b
  18. qwen2-72b
  19. qwen2_vl-2b
  20. qwen2_vl-7b
  21. falcon-11B
  22. glm4-9b

LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导

LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导

LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导

LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导

LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导

支持如下模型适配PyTorch-NPU的推理。

  1. llama-7B
  2. llama-13b
  3. llama-65b
  4. llama2-7b
  5. llama2-13b
  6. llama2-70b
  7. llama3-8b
  8. llama3-70b
  9. yi-6b
  10. yi-9b
  11. yi-34b
  12. deepseek-llm-7b
  13. deepseek-coder-instruct-33b
  14. deepseek-llm-67b
  15. qwen-7b
  16. qwen-14b
  17. qwen-72b
  18. qwen1.5-0.5b
  19. qwen1.5-7b
  20. qwen1.5-1.8b
  21. qwen1.5-14b
  22. qwen1.5-32b
  23. qwen1.5-72b
  24. qwen1.5-110b
  25. qwen2-0.5b
  26. qwen2-1.5b
  27. qwen2-7b
  28. qwen2-72b
  29. baichuan2-7b
  30. baichuan2-13b
  31. chatglm2-6b
  32. chatglm3-6b
  33. glm-4-9b
  34. gemma-2b
  35. gemma-7b
  36. mistral-7b
  37. mixtral 8*7B
  38. falcon2-11b
  39. qwen2-57b-a14b
  40. llama3.1-8b
  41. llama3.1-70b
  42. llama-3.1-405B
  43. llava-1.5-7b
  44. llava-1.5-13b
  45. llava-v1.6-7b
  46. llava-v1.6-13b
  47. llava-v1.6-34b
  48. internvl2-26B
  49. MiniCPM-v2.6
  50. deepseek-v2-236B
  51. deepseek-coder-v2-lite-16B

Ascend-vllm支持如下推理特性：

  1. 支持分离部署
  2. 支持多机推理
  3. 支持大小模型投机推理及eagle投机推理
  4. 支持chunked prefill特性
  5. 支持automatic prefix caching
  6. 支持multi-lora特性
  7. 支持W4A16、W8A16和W8A8量化
  8. 升级vLLM 0.6.0

LLM开源大模型基于Lite Server适配PyTorch NPU推理指导

LLM开源大模型基于Standard适配PyTorch NPU推理指导

LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导

AIGC，包名：AscendCloud-AIGC

支持如下框架或模型基于DevServer的PyTorch NPU推理：

  1. ComfyUI
  2. Diffusers
  3. Stable-diffusion-webui
  4. Wav2Lip
  5. OpenSora1.2
  6. OpenSoraPlan1.0
  7. MiniCPM-V2.6
  8. FLUX.1
  9. Hunyuan-Dit
  10. Qwen-VL

支持如下框架或模型基于DevServer的PyTorch NPU的训练：

  1. Qwen-VL
  2. Diffusers
  3. Koyha_ss
  4. Wav2Lip
  5. InternVL2
  6. OpenSora1.2
  7. OpenSoraPlan1.0

SD1.5&SDXL ComfyUI、WebUI、Diffusers套件适配PyTorch NPU的推理指导

FLUX.1基于DevServer适配PyTorch NPU推理指导

Hunyuan-DiT基于DevServer部署适配PyTorch NPU推理指导

InternVL2基于DevServer适配PyTorch NPU训练指导

MiniCPM-V2.6基于DevServer适配PyTorch NPU训练指导

Qwen-VL基于DevServer适配Pytorch NPU的Finetune训练指导

Qwen-VL基于DevServer适配Pytorch NPU的推理指导

CV，包名：AscendCloud-CV

支持如下模型适配MindSpore Lite的推理：

  1. Yolov8

Yolov8基于DevServer适配MindSpore Lite推理指导

算子，包名：AscendCloud-OPP
  1. Scatter、Gather算子性能提升，满足MoE训练场景
  2. matmul、swiglu、rope等算子性能提升，支持vllm推理场景
  3. 支持random随机数算子，优化FFN算子，满足AIGC等场景
  4. 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求
  5. 优化PageAttention算子，满足vllm投机推理场景
  6. 支持CopyBlocks算子，满足vllm框架beam search解码场景

无
父主题： 产品发布说明

相关文档