基本概念、云服务简介、专有名词解释： 弹性 云服务器 E CS ：是一种云上可随时自助获取、可弹性伸缩的计算服务，可帮助您打造安全、可靠、灵活、高效的应用环境。 云备份 CBR：为云内的云 服务器 、云硬盘、文件服务，云下文件、VMware虚拟化环境，提供简单易用的备份服务，针对病毒入侵、人为误删

查看更多 →

据库管理、智能化运维等功能，做到易用、安全、智能地管理数据库。云数据库RDS服务默认开通DAS连接权限。 易用、安全、高级、智能。 推荐使用DAS连接 内网连接 内网IP地址 系统默认提供内网IP地址。 当应用部署在弹性云服务器上，且该弹性云服务器与华为云关系型数据库实例处于同一

查看更多 →

并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。

查看更多 →

使用AWQ量化工具转换权重 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

使用llm-compressor工具量化 当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库：

查看更多 →

per-tensor+per-head静态量化场景 如需使用该场景量化方法，请自行准备kv-cache量化系数，格式和per-tensor静态量化所需的2. 抽取kv-cache量化系数生成的json文件一致，只需把每一层的量化系数修改为列表，列表的长度为kv的头数，列表中每一个值代表每一个kv头使用的量化系数。内容示例如下：

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

使用AWQ量化工具转换权重 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →

向量化引擎支持的数据类型 向量化引擎支持的数据类型如表1所示。 表1 向量化引擎支持的数据类型 类别 数据类型 长度 是否支持 Numeric Types tinyint [unsigned] 1 支持 smallint [unsigned] 2 支持 mediumint [unsigned]

查看更多 →

向量化引擎支持的数据类型 向量化引擎支持的数据类型如表1所示。 表1 向量化引擎支持的数据类型 类别 数据类型 长度 是否支持 Numeric Types tinyint [unsigned] 1 支持 smallint [unsigned] 2 支持 mediumint [unsigned]

查看更多 →

--per-token：激活值量化方法，若指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，若指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step3

查看更多 →

--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step3

查看更多 →

蜂云轻量化云监控平台功能 蜂云轻量化云监控平台主要由云视频基座、智慧巡检、算法中心组成并对外提供服务， 具体功能模块详见下方平台首页。 图1 监控平台功能 父主题： 实施步骤

查看更多 →

--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step3

查看更多 →

--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step3

查看更多 →