--per-token：激活值量化方法，若指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，若指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考步骤六 启

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.910）

查看更多 →

--per-token：激活值量化方法，若指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，若指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考步骤六 启

查看更多 →

--per-token：激活值量化方法，若指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，若指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step6

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.907）

查看更多 →

内容数据量化 SOW中搬迁资源量以及工作内容描述补充说明内容需数据量化。 父主题： SOW（项目工作说明书）注意事项

查看更多 →

Python SDK 本章节介绍了Python SDK的使用说明，您可以参考本章节进行快速集成开发。 开发前准备 已 注册华为账号 并开通华为云，已进行实名认证。 已具备开发环境 ，支持python 3及以上版本。 已获取账号对应的Access Key（AK）和Secret Access

查看更多 →

新建Python项目 CodeArts IDE提供了一个Python项目向导，帮助您更轻松地创建新项目并配置环境。 在主菜单中，选择文件 > 新建 > 工程 。 在打开的“新建工程”对话框中，从左侧列表选择“Python“，填入项目参数。 设置项目名称和路径。 在“新环境使用“的

查看更多 →

Python语言方案 前提条件 已拥有华为云账号且已实名认证。 华为云账号未欠费，且有足够金额购买本案例所涉及的资源。 操作步骤 创建函数 登录 函数工作流 控制台，在左侧导航栏选择“函数 > 函数列表”，单击“创建函数”。 选择“创建空白函数”，填写函数信息，完成后单击“创建函数”。

查看更多 →

Python SDK 本章节介绍新版Python SDK，您可以参考本章节进行快速集成开发。 准备工作 注册华为账号并开通华为云，并完成实名认证，账号不能处于欠费或冻结状态。 已具备开发环境，支持Python3及以上版本。 登录“我的凭证 > 访问密钥”页面，依据界面操作指引获取Access

查看更多 →

示例函数(Python) 评估由配置变更触发的示例函数 Config服务检测到自定义合规规则范围内的资源发生更改时，会调用函数的示例如下： import time import http.client from huaweicloudsdkcore.auth.credentials

查看更多 →

示例函数(Python) 评估由配置变更触发的示例函数 Config服务检测到自定义组织合规规则范围内的资源发生更改时，会调用函数的示例如下： import time import http.client from huaweicloudsdkcore.auth.credentials

查看更多 →

在编辑器上方，配置执行Python脚本的Python版本和主机连接。 表1 Python脚本属性 参数 说明 Python版本 选择Python版本。 Python2：Python版本为Python2 Python3：Python版本为Python3 主机连接 选择执行Python脚本的主机。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表1。

查看更多 →

使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。 Step1 模型量化

查看更多 →

轻量化模型转换API 开发概述 上传图纸文件 查询轻量化任务状态 下载轻量化文件 父主题： IPDCenter基础服务API

查看更多 →

ight-activation量化和kvcache量化。 量化的一般步骤是：1、对浮点类型的权重镜像量化并保存量化完的权重；2、使用量化完的权重进行推理部署。 什么是W4A16量化 W4A16量化方案能显著降低模型显存以及需要部署的卡数（约75%）。大幅降低小batch下的增量推理时延。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。

查看更多 →

Python API接口 数据处理是通过执行python脚本处理OBS数据。Python脚本执行平台使用的是华为公有云ModelArts服务的训练作业执行引擎。 用户可以在脚本中直接使用MoXing中提供的一套文件对象API，用来读写本地文件或OBS文件系统。 在python脚本

查看更多 →