-
推理模型量化
![]()
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910）
来自：帮助中心 -
使用SmoothQuant量化
![]()
--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考步骤六 启
来自：帮助中心 -
推理模型量化
![]()
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911）
来自：帮助中心 -
推理模型量化
![]()
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）
来自：帮助中心 -
使用SmoothQuant量化
![]()
--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考部署推理服务，使用量化后权重部署AWQ量化服务。
来自：帮助中心 -
推理模型量化
![]()
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）
来自：帮助中心 -
推理模型量化
![]()
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.911）
来自：帮助中心 -
推理模型量化
![]()
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）
来自：帮助中心 -
使用SmoothQuant量化
![]()
--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step6
来自：帮助中心 -
使用SmoothQuant量化
![]()
--per-token：激活值量化方法，若指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，若指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考部署推理服务，使用量化后权重部署AWQ量化服务。
来自：帮助中心 -
推理模型量化
![]()
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）
来自：帮助中心 -
推理模型量化
![]()
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）
来自：帮助中心 -
概述
-
使用kv-cache-int8量化
![]()
kv-cache-int8量化支持的模型请参见表3。 per-tensor静态量化场景 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint
来自：帮助中心 -
轻量化模型转换API
![]()
-
使用kv-cache-int8量化
![]()
kv-cache-int8量化支持的模型请参见表3。 per-tensor静态量化场景 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint
来自：帮助中心 -
使用kv-cache-int8量化
![]()
kv-cache-int8量化支持的模型请参见表3。 per-tensor静态量化场景 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint
来自：帮助中心 -
向量化执行引擎
![]()
向量化执行引擎 GS_232010001 错误码： [SonicHashJoin]: The memory of the current statement is not controlled. 解决方案：请设置hashjoin_spill_strategy为0-2。 level：
来自：帮助中心 -
查询轻量化任务状态
![]()
查询轻量化任务状态 功能介绍 查询轻量化任务状态 图纸上传完成后，即可调用该接口获取图纸轻量化转换状态，该接口可能需要调用多次，直到返回的数据轻量化状态为SUCCESS或FAILED，即代表轻量化转换结束。 如果轻量化状态为SUCCESS，则代表图纸轻量化转换成功，此时可通过li
来自：帮助中心 -
图像搜索
![]()
介绍几个Go语言及相关开源框架的插件机制 跟唐老师学习云网络 唐老师将自己对网络的理解分享给大家 智能客服 您好！我是有问必答知识渊博的的智能问答机器人，有问题欢迎随时求助哦！ 社区求助 华为云社区是华为云用户的聚集地。这里有来自容器服务的技术牛人，为您解决技术难题。
来自：帮助中心 -
使用kv-cache-int8量化
![]()
表和权重文件。 本章节介绍如何在Notebook使用tensorRT量化工具实现推理量化。 Step1使用tensorRT量化工具进行模型量化 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVID
来自：帮助中心
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
