文档首页/
AI开发平台ModelArts/
最佳实践/
DeepSeek基于Lite Server&Cluster推理/
DeepSeek模型基于ModelArts Lite Cluster适配NPU的PD分离推理解决方案/
权重量化补充说明/
MTP融合权重
更新时间：2025-09-08 GMT+08:00
MTP融合权重
开启MTP特性，--model 指定融合权重路径。
需要修改W8A8量化替换配置文件 - config.json两个字段。
"architectures": [
"DeepseekV3Fusion" # DeepseekV3ForCausalLM修改为DeepseekV3Fusion
],
......
"num_hidden_layers": 62, # 61修改为62
......
父主题： 权重量化补充说明
