-
使用kv-cache-int8量化
![]()
本章节介绍如何在Notebook使用tensorRT量化工具实现推理量化。 Step1使用tensorRT量化工具进行模型量化 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0
来自：帮助中心 -
使用kv-cache-int8量化
![]()
本章节介绍如何在Notebook使用tensorRT量化工具实现推理量化。 Step1使用tensorRT量化工具进行模型量化 使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0
来自：帮助中心 -
使用kv-cache-int8量化
![]()
kv-cache-int8量化支持的模型请参见表3。 Step1使用tensorRT量化工具进行模型量化，必须在GPU环境 使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化
来自：帮助中心 -
使用kv-cache-int8量化
![]()
本章节介绍如何在Notebook使用tensorRT量化工具实现推理量化。 Step1使用tensorRT量化工具进行模型量化 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0
来自：帮助中心 -
使用kv-cache-int8量化
![]()
kv-cache-int8量化支持的模型请参见表3。 Step1使用tensorRT量化工具进行模型量化 使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint
来自：帮助中心 -
使用kv-cache-int8量化
![]()
支持的模型列表和权重文件。 Step1使用tensorRT量化工具进行模型量化 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint
来自：帮助中心 -
使用kv-cache-int8量化
![]()
在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint.py存放在TensorRT-LLM/exa
来自：帮助中心 -
使用kv-cache-int8量化
![]()
在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint.py存放在TensorRT-LLM/exa
来自：帮助中心 -
使用kv-cache-int8量化
![]()
本章节介绍如何在Notebook使用tensorRT量化工具实现推理量化。 Step1使用tensorRT量化工具进行模型量化 使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0
来自：帮助中心 -
使用kv-cache-int8量化
![]()
本章节介绍如何在Notebook使用tensorRT量化工具实现推理量化。 Step1使用tensorRT量化工具进行模型量化 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0
来自：帮助中心 -
使用kv-cache-int8量化
![]()
本章节介绍如何在Notebook使用tensorRT量化工具实现推理量化。 Step1使用tensorRT量化工具进行模型量化 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0
来自：帮助中心 -
使用kv-cache-int8量化
![]()
kv-cache-int8量化支持的模型请参见表3。 Step1使用tensorRT量化工具进行模型量化，必须在GPU环境 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。
来自：帮助中心 -
使用kv-cache-int8量化
![]()
支持的模型列表和权重文件。 Step1使用tensorRT量化工具进行模型量化 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint
来自：帮助中心 -
使用kv-cache-int8量化
![]()
支持的模型列表和权重文件。 Step1使用tensorRT量化工具进行模型量化 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint
来自：帮助中心 -
使用kv-cache-int8量化
![]()
在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint.py存放在TensorRT-LLM/exa
来自：帮助中心 -
第三方推理框架迁移到ModelArts Standard推理自定义引擎
![]()
--trt_root /usr/local/tensorrt && \ pip install ./build/tensorrt_llm-0.5.0-py3-none-any.whl && \ rm -f ./build/tensorrt_llm-0.5.0-py3-none-any
来自：帮助中心 -
推理业务迁移评估表
![]()
当前业务依赖的第三方软件列表（自行编译的第三方软件列表）。 例如：Faiss等。 - 推理框架 TensorRT/Triton/MSLite等。 例如： 2个推理模型使用TensorRT框架，5个使用Triton框架。 通过stable-diffusion的WebUI提供AIGC推理服务。
来自：帮助中心 -
迁移评估
![]()
当前业务依赖的第三方软件列表（自行编译的第三方软件列表）。 例如：Faiss等。 - 推理框架 TensorRT/Triton/MSLite等。 例如： 2个推理模型使用TensorRT框架，5个使用Triton框架。 通过stable-diffusion的WebUI提供AIGC推理服务。
来自：帮助中心 -
技能介绍
![]()
Box框架层和应用层。 基础镜像层：提供下层设备的驱动，以及其中ModelBox框架和基础功能单元依赖的一些第三方库如FFmpeg，TensorRT，OpenCV等。 ModelBox框架层：包括ModelBox基础框架包和ModelBox基础功能单元包。 应用层：包含用户自定义
来自：帮助中心 -
安装并使用XGPU
![]()
GPU_CONTAINER_PRIORITY=1 --shm-size 16g -v /mnt/:/mnt nvcr.io/nvidia/tensorrt:19.07-py3 bash docker run --rm -it --runtime=nvidia -e GPU_CONTA
来自：帮助中心 -
技能介绍
![]()
Box框架层和应用层。 基础镜像层：提供下层设备的驱动，以及其中ModelBox框架和基础功能单元依赖的一些第三方库如FFmpeg，TensorRT，OpenCV等。 ModelBox框架层：包括ModelBox基础框架包和ModelBox基础功能单元包。 应用层：包含用户自定义
来自：帮助中心
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
