-
机器未重启
![]()
原因分析 该机器在进行过某些Windows功能的启用或关闭后未进行重启。 处理方法 请重启机器。 must log in to complete the current configuration or the configuratio\r\nn in progress must be
来自：帮助中心 -
文本向量化
![]()
登录AI原生应用引擎，在左侧导航栏选择“模型中心 > 我的模型服务 > 我部署的”，model填写为对应模型服务的模型服务调用ID。 租户接入模型服务 登录AI原生应用引擎，在左侧导航栏选择“模型中心 > 我的模型服务 > 我接入的”，model填写为对应模型服务的模型服务调用ID。
来自：帮助中心 -
使用AWQ量化
![]()
W8A16 per-channel 步骤一 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models
来自：帮助中心 -
使用AWQ量化
![]()
W8A16 per-channel 步骤一 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models
来自：帮助中心 -
使用AWQ量化
![]()
使用AWQ量化 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：per-group Step1 模型量化 可以在Huggingfac
来自：帮助中心 -
制作用户桌面镜像
-
操作用户组
![]()
ct-Token的值）。 Content-Type 是 String 发送的实体的MIME类型，如：application/json。 表3 请求Body参数 参数 是否必选 参数类型 描述 user_ids 是 Array of strings 要添加或移除的用户Id列表。 op_type
来自：帮助中心 -
使用GPTQ量化
![]()
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
来自：帮助中心 -
使用GPTQ量化
![]()
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
来自：帮助中心 -
使用GPTQ量化
![]()
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
来自：帮助中心 -
使用GPTQ量化
![]()
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
来自：帮助中心 -
使用GPTQ量化
![]()
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
来自：帮助中心 -
使用GPTQ量化
![]()
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
来自：帮助中心 -
使用llm-compressor工具量化
![]()
使用llm-compressor工具量化 当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库：
来自：帮助中心 -
AI开发基本流程介绍
![]()
基于商业的理解，整理AI开发框架和思路。例如，图像分类、物体检测等等。不同的项目对数据的要求，使用的AI开发手段也是不一样的。 准备数据 数据准备主要是指收集和预处理数据的过程。 按照确定的分析目的，有目的性的收集、整合相关数据，数据准备是AI开发的一个基础。此时最重要的是保证获
来自：帮助中心 -
轻量化模型卡片
![]()
测量轻量化模型的总体积和重量。 包围盒测量工具 支持测量指定实体的包围盒规格和轻量化模型的总包围盒规格。 选择“包围盒 > 指定实体”，并在图形中选择某一实体，可以测量所选实体包围盒的长、宽、高的边长。 选择“包围盒 > 总包围盒”，可以测量轻量化模型总包围盒的长、宽、高的边长。
来自：帮助中心 -
推理模型量化
![]()
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）
来自：帮助中心 -
使用SmoothQuant量化
![]()
会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的系数保存在--scale-output参数指定的路径下。如果有指定的量化系数，则不需此参数，直接读取--scale-input参数指定的量化系数输入路径即可。
来自：帮助中心 -
推理模型量化
![]()
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）
来自：帮助中心 -
推理模型量化
![]()
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910）
来自：帮助中心 -
使用SmoothQuant量化
![]()
会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的系数保存在--scale-output参数指定的路径下。如果有指定的量化系数，则不需此参数，直接读取--scale-input参数指定的量化系数输入路径即可。
来自：帮助中心
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
