文档首页> AI开发平台ModelArts> 服务公告> 产品发布说明> 昇腾云服务6.3.T061版本说明
更新时间：2024-06-18 GMT+08:00
查看PDF
分享

昇腾云服务6.3.T061版本说明

本文档主要介绍昇腾云服务6.3.T061版本配套的镜像地址、软件包获取方式和支持的特性能力。

配套的基础镜像

镜像地址

新增主要特性

获取方式

配套关系

PyTorch：

西南-贵阳一

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240606190017-b881580
  1. MindSpore Lite框架支持SD1.5动态LoRA融合
  2. MindSpore Lite框架支持5d输入onnx模型进行动态分档转换

镜像发布到SWR，从SWR拉取

cann_8.0.rc2

pytorch_2.1.0

hce_2.0

MindSpore 2.3.0

FrameworkPTAdapter6.0.RC2

软件包获取地址

软件包名称

软件包说明

获取地址

AscendCloud-6.3.906-xxx.zip

包含

1. 三方大模型训练和推理代码包

2. 算子依赖包

获取路径：Support-E

说明：

如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。

支持的特性

表1 本版本支持的特性说明

分类

软件包特性说明

参考文档

三方大模型，包名：AscendCloud-3rdLLM

支持如下模型适配PyTorch-NPU的训练。

  1. llama2-7b
  2. llama2-13b
  3. llama2-70b
  4. qwen-7b
  5. qwen-14b
  6. qwen-72b
  7. baichuan2-13b
  8. chatglm3-6b
  9. llama3-8b
  10. llama3-70b
  11. yi-6B
  12. yi-34B
  13. qwen1.5-7B
  14. qwen1.5-14B
  15. qwen1.5-32B
  16. qwen1.5-72B

无

支持如下模型适配PyTorch-NPU的推理。

  1. llama-7B
  2. llama-13b
  3. llama-65b
  4. llama2-7b
  5. llama2-13b
  6. llama2-70b
  7. llama3-8b
  8. llama3-70b
  9. yi-6b
  10. yi-9b
  11. yi-34b
  12. deepseek-llm-7b
  13. deepseek-llm-67b
  14. qwen-7b
  15. qwen-14b
  16. qwen-72b
  17. qwen1.5-0.5b
  18. qwen1.5-7b
  19. qwen1.5-1.8b
  20. qwen1.5-14b
  21. qwen1.5-32b
  22. qwen1.5-72b
  23. qwen1.5-110b
  24. baichuan2-7b
  25. chatglm2-6b
  26. chatglm3-6b
  27. mistral-7b

支持如下推理特性：

1. llama 系列推理支持bf16数据类型

2. llama 系列推理支持w8a8、w4a16量化

3. 支持MoE-mixtral 8*7B 推理

4. vllm推理框架支持prefix caching

无

算子，包名：AscendCloud-OPP

提供配套的推理量化算子

无
父主题： 产品发布说明
分享：

    相关文档

    相关产品