更新时间:2025-10-14 GMT+08:00
分享

获取Qwen系列权重文件

准备BF16权重

下载BF16的权重地址如下:

Qwen/Qwen3-32B

Qwen/Qwen2.5-72B

准备W8A8权重

参考W8A8量化实现对模型进行量化。

准备W8A8C8权重

参考kv-cache-int8量化实现对模型进行量化。

相关文档