华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

使用AWQ量化 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：per-group Step1 模型量化 可以在Huggingfac

查看更多 →

单击“保存”。 使用轻量化模型卡片 已添加“轻量化模型”卡片到角色桌面，并且已上传文件进行轻量化转换。如果您还没有进行轻量化转换，卡片内容为空。 您可以参见轻量化模型转换API，调用相应的API上传待轻量化转换的文件，查询轻量化转换的任务和下载轻量化文件。 在卡片左侧的列表中选

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）

查看更多 →

--per-token：激活值量化方法，若指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，若指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step6

查看更多 →

内容数据量化 SOW中搬迁资源量以及工作内容描述补充说明内容需数据量化。 父主题： SOW（项目工作说明书）注意事项

查看更多 →

下载轻量化文件 功能介绍 下载轻量化文件 文件轻量化完成后，会以目录文件夹的形式存储在系统中，通过查询轻量化任务状态能够获取到轻量化文件的存储目录，即属性lightweight_file_path的值。该目录下会存在大量的轻量化文件，这些文件信息会存储在该目录下的Configurations

查看更多 →

轻量化模型转换API 上传图纸文件 查询轻量化任务状态 下载轻量化文件 父主题： IPDCenter基础服务API

查看更多 →

向量化执行引擎 GS_232010001 错误码： [SonicHashJoin]: The memory of the current statement is not controlled. 解决方案：请设置hashjoin_spill_strategy为0-2。 level：

查看更多 →

查询轻量化任务状态 功能介绍 查询轻量化任务状态 图纸上传完成后，即可调用该接口获取图纸轻量化转换状态，该接口可能需要调用多次，直到返回的数据轻量化状态为SUCCESS或FAILED，即代表轻量化转换结束。 如果轻量化状态为SUCCESS，则代表图纸轻量化转换成功，此时可通过li

查看更多 →

Hive是否支持向量化查询 问题 当设置向量化参数hive.vectorized.execution.enabled=true时，为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常？ 回答 当前Hive不支持向量化执行，向量化执行有很多社区问题引入目前没有稳定修复，默认hive

查看更多 →

Delete轻量化删除表数据 本章节主要介绍轻量化delete删除表数据的SQL基本语法和使用说明。 本章节仅适用于 MRS 3.3.0及之后版本。 基本语法 DELETE FROM [db.]table [ON CLUSTER cluster] WHERE expr 使用示例 建表：

查看更多 →

Hive是否支持向量化查询 问题 当设置向量化参数hive.vectorized.execution.enabled=true时，为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常？ 回答 当前Hive不支持向量化执行，向量化执行有很多社区问题引入目前没有稳定修复，默认hive

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。

查看更多 →

使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。 Step1 模型量化

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表1。

查看更多 →

并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →

并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →

蜂云轻量化云监控平台功能 蜂云轻量化云监控平台主要由云视频基座、智慧巡检、算法中心组成并对外提供服务， 具体功能模块详见下方平台首页。 图1 监控平台功能 父主题： 实施步骤

查看更多 →