推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）

查看更多 →

用于标识环境配置的镜像。 镜像版本 用于区分一个镜像库中不同的镜像文件所使用的标签。 资源规格 指根据不同的环境类型和用途，对 服务器 的 CPU 、内存、数据盘等硬件资源进行合理分配和管理的过程。例如，开发环境的资源规格可能会比生产环境的小，而性能测试环境的资源规格可能会更大，以满足其对硬件资源的需求。

查看更多 →

AI开发基本概念 机器学习常见的分类有3种： 监督学习：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。常见的有回归和分类。 非监督学习：在未加标签的数据中，试图找到隐藏的结构。常见的有聚类。 强化学习：智能系统从环境到行为映射的学习，以使奖励信号（强化信号）函数值最大。

查看更多 →

确认学习结果 HSS学习完白名单策略关联的服务器后，输出的学习结果中可能存在一些特征不明显的可疑进程需要再次进行确认，您可以手动或设置系统自动将这些可疑进程确认并分类标记为可疑、恶意或可信进程。 学习结果确认方式，在创建白名单策略时可设置： “学习结果确认方式”选择的“自动确认可

查看更多 →

学生只学技术，不懂企业业务，目前新工科学生的实训课程只关注技术部分的能力，不去关注业务和职业能力的训练 通过本方案实现的业务效果 实践教学平台：提供面向院校全学段的课程类型，包括理实一体化课程、课程级实训（课程设计）、综合实训（工程实践）、认知实习、专业实习、毕业实习，用不同形式的方式，解决学生学习枯燥、学法单

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

使用AWQ量化 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel,

查看更多 →

使用AWQ量化 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16

查看更多 →

convert_awq_to_npu.py --model /home/ma-user/Qwen1.5-72B-Chat-AWQ 参数说明： model：模型路径。 Step4 启动AWQ量化服务 参考部署推理服务，使用量化后权重部署AWQ量化服务。 注：Step3 创建服务启动脚

查看更多 →

传统实验室过于依赖基础硬件资源，造成实训平台受多方面因素影响，体验性差，学习效率不高。基于华为云构建的实训云学习平台不受本地物理环境影响，实现资源合理利用，灵活满足容量弹性扩容，打通职业-技能-课程-实验-认证-就业全链路个性化学习路径，实现真正的开放式实验室建设。 实训云组网结构图 图1 实训云组网结构图

查看更多 →

云容器引擎-成长地图 | 华为云 图像搜索 图像搜索（ImageSearch）基于深度学习与图像识别技术，结合不同应用业务和行业场景，利用特征向量化与搜索能力，帮助客户从指定图库中搜索相同或相似的图片。 免费体验 图说E CS 立即使用 立即使用 成长地图 由浅入深，带您玩转ImageSearch

查看更多 →

探索新工科建设，可助力高校实现： 助力教师实践教学 实训指导文件——掌握实训实施过程，提高实践教学能力 实训过程跟踪——准确把握教学节奏，智慧指导学生的学习行为 实训结果评判——节省教师工作量，提高工作效率 提升学生实践动手能力 企业级真实开发场景——增强工程实践能力 软件开发的全生命周期——解决复杂工程问题的能力

查看更多 →

迁移学习 如果当前数据集的特征数据不够理想，而此数据集的数据类别和一份理想的数据集部分重合或者相差不大的时候，可以使用特征迁移功能，将理想数据集的特征数据迁移到当前数据集中。 进行特征迁移前，请先完成如下操作： 将源数据集和目标数据集导入系统，详细操作请参见数据集。 创建迁移数据

查看更多 →

向量化执行引擎 GS_232010001 错误码： [SonicHashJoin]: The memory of the current statement is not controlled. 解决方案：请设置hashjoin_spill_strategy为0-2。 level：

查看更多 →

查询轻量化任务状态 功能介绍 查询轻量化任务状态 图纸上传完成后，即可调用该接口获取图纸轻量化转换状态，该接口可能需要调用多次，直到返回的数据轻量化状态为SUCCESS或FAILED，即代表轻量化转换结束。 如果轻量化状态为SUCCESS，则代表图纸轻量化转换成功，此时可通过li

查看更多 →

使用AWQ量化 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：per-group Step1 模型量化 可以在Huggingfac

查看更多 →

convert_awq_to_npu.py --model /home/ma-user/Qwen1.5-72B-Chat-AWQ 参数说明： model：模型路径。 Step4 启动AWQ量化服务 参考部署推理服务，使用量化后权重部署AWQ量化服务。 注：Step3 创建服务启动脚

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →