场景介绍
方案概览
本文档介绍了在ModelArts的Standard上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程,利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件,为用户提供推理部署方案,帮助用户使能大模型业务。
本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。
约束限制
- 本方案目前仅适用于部分企业客户。
- 本文档适配昇腾云ModelArts 6.3.907版本,请参考软件配套版本获取配套版本的软件包,请严格遵照版本配套关系使用本文档。
- 推理部署使用的服务框架是vLLM。vLLM支持v0.5.0版本。
- 仅支持FP16和BF16数据类型推理。
- 本案例仅支持在专属资源池上运行。
- 专属资源池驱动版本要求23.0.6。
支持的模型列表和权重文件
本方案支持vLLM的v0.5.0版本。不同vLLM版本支持的模型列表有差异,具体如表1所示。
序号 |
模型名称 |
是否支持fp16/bf16推理 |
是否支持W4A16量化 |
是否支持W8A8量化 |
是否支持 kv-cache-int8量化 |
开源权重获取地址 |
---|---|---|---|---|---|---|
1 |
llama-7b |
√ |
√ |
√ |
√ |
|
2 |
llama-13b |
√ |
√ |
√ |
√ |
|
3 |
llama-65b |
√ |
√ |
√ |
√ |
|
4 |
llama2-7b |
√ |
√ |
√ |
√ |
|
5 |
llama2-13b |
√ |
√ |
√ |
√ |
|
6 |
llama2-70b |
√ |
√ |
√ |
√ |
|
7 |
llama3-8b |
√ |
√ |
√ |
√ |
|
8 |
llama3-70b |
√ |
√ |
√ |
√ |
|
9 |
yi-6b |
√ |
√ |
√ |
√ |
|
10 |
yi-9b |
√ |
√ |
√ |
√ |
|
11 |
yi-34b |
√ |
√ |
√ |
√ |
|
12 |
deepseek-llm-7b |
√ |
x |
x |
x |
|
13 |
deepseek-coder-instruct-33b |
√ |
x |
x |
x |
https://huggingface.co/deepseek-ai/deepseek-coder-33b-instruct |
14 |
deepseek-llm-67b |
√ |
x |
x |
x |
|
15 |
qwen-7b |
√ |
√ |
√ |
x |
|
16 |
qwen-14b |
√ |
√ |
√ |
x |
|
17 |
qwen-72b |
√ |
√ |
√ |
x |
|
18 |
qwen1.5-0.5b |
√ |
√ |
√ |
x |
|
19 |
qwen1.5-7b |
√ |
√ |
√ |
x |
|
20 |
qwen1.5-1.8b |
√ |
√ |
√ |
x |
|
21 |
qwen1.5-14b |
√ |
√ |
√ |
x |
|
22 |
qwen1.5-32b |
√ |
√ |
√ |
x |
|
23 |
qwen1.5-72b |
√ |
√ |
√ |
x |
|
24 |
qwen1.5-110b |
√ |
√ |
√ |
x |
|
25 |
qwen2-0.5b |
√ |
√ |
√ |
x |
|
26 |
qwen2-1.5b |
√ |
√ |
√ |
x |
|
27 |
qwen2-7b |
√ |
√ |
x |
x |
|
28 |
qwen2-72b |
√ |
√ |
√ |
x |
|
29 |
baichuan2-7b |
√ |
x |
x |
x |
|
30 |
baichuan2-13b |
√ |
x |
x |
x |
|
31 |
gemmma-2b |
√ |
x |
x |
x |
|
32 |
gemmma-7b |
√ |
x |
x |
x |
|
33 |
chatglm2-6b |
√ |
x |
x |
x |
|
34 |
chatglm3-6b |
√ |
x |
x |
x |
|
35 |
glm-4-9b |
√ |
x |
x |
x |
|
36 |
mistral-7b |
√ |
x |
x |
x |
|
37 |
mixtral-8x7b |
√ |
x |
x |
x |
|
38 |
falcon2-11b |
√ |
x |
x |
x |
|
39 |
qwen2-57b-a14b |
√ |
x |
x |
x |
|
40 |
llama3.1-8b |
√ |
x |
x |
x |
https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct |
41 |
llama3.1-70b |
√ |
x |
x |
x |
https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct |
说明:当前版本中yi-34b、qwen1.5-32b模型暂不支持单卡启动。
操作流程
![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000001982465157.png)
阶段 |
任务 |
说明 |
---|---|---|
准备工作 |
准备资源 |
本教程案例是基于ModelArts Standard运行,需要购买ModelArts专属资源池。 |
准备权重 |
准备对应模型的权重文件。 |
|
准备代码 |
准备AscendCloud-6.3.907-xxx.zip。 |
|
准备镜像 |
准备推理模型适用的容器镜像。 |
|
准备Notebook |
本案例在Notebook上部署推理服务进行调试,因此需要创建Notebook。 |
|
部署推理服务 |
在Notebook调试环境中部署推理服务 |
介绍如何在Notebook中配置NPU环境,部署并启动推理服务,完成精度测试和性能测试。 若需要部署量化模型,需在Notebook中进行模型权重转换后再部署推理服务。 |
在推理生产环境中部署推理服务 |
介绍如何在创建AI应用,部署并启动推理服务,在线预测在线服务。 |