使用AWQ量化工具转换权重

AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。

本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。

方式一：从开源社区下载发布的AWQ量化模型。

https://huggingface.co/models?sort=trending&search=QWEN+AWQ

方式二：使用AutoAWQ量化工具进行量化。

1. 在Notebook中运行以下命令下载并安装AutoAWQ源码。

   git clone -b v0.2.5 https://github.com/casper-hansen/AutoAWQ.git AutoAWQ-0.2.5
   cd ./AutoAWQ-0.2.5
   export PYPI_BUILD=1
   pip install -e .

2. 需要编辑“examples/quantize.py”文件，针对NPU进行如下适配工作，以支持在NPU上进行量化。
   1. 添加import。

      import torch_npu
      from torch_npu.contrib import transfer_to_npu

   2. 指定模型输入、输出路径。

      model_path = **
      quant_path = **

   3. 可以指定校准数据集路径，如calib_data="/path/to/pile-val"，如不指定，默认数据集是“mit-han-lab/pile-val-backup”。

      model.quantize(tokenizer, quant_config=quant_config, calib_data="/path/to/pile-val", split="validation")

3. 运行“examples/quantize.py”文件进行模型量化，量化时间和模型大小有关，预计30分钟~3小时。

   pip install transformers sentencepiece #安装量化工具依赖
   export ASCEND_RT_VISIBLE_DEVICES=0 #设置使用NPU单卡执行模型量化
   python examples/quantize.py

   详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq.html。

python  ascend-vllm/tools/awq/convert_awq_to_npu.py --model /home/ma-user/Qwen1.5-72B-Chat-AWQ

 --q awq 或者--quantization awq