致远高校一体化协同运营平台解决方案

使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。 Step1 模型量化

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表1。

查看更多 →

平台简介 IoT行业生态工作台（IoT Stage）是一站式物联网交付平台，面向物联网渠道商与系统集成商，是买家、卖家、系统集成商的桥梁和纽带，助力设备和应用集成，使能行业应用服务，实现物联网应用的低成本复制。 无码化应用托管 1小时即可完成企业级物联网应用托管上线，通过一站式镜

查看更多 →

平台界面 首页 输入用户的账号和密码，登录进主页面。 图1 登录界面 总览 总览主要分为三大块内容：分别是集成任务数量图表展示，数据库类型占比图表，调度异常监控图表以及调度异常数据展示。 图2 总览 图3 调度异常数据 数据源 数据源主要包含两块：左侧树状导航展示数据源路径、右侧可进行新建数据源操作。

查看更多 →

开放平台 开放平台是面向数字化活动平台客户及合作伙伴，用于统一管理目睹开放能力的对接。客户开通开放平台前，必须提前开通活动平台账号。通过活动平台进入开放平台后，可以进行创建开发者应用，下载对接密钥、设置访问黑白名单等功能。 操作说明 开放平台对接应用包含了一组对接密钥及如果干数字

查看更多 →

平台人员 员工管理 “查询”按钮：根据输入的查询条件，单击查询按钮，进行数据查询展示。 “新增”按钮：单击新增按钮，进行员工的数据维护，保存后，员工信息新增展示。 “编辑”按钮：单击编辑按钮，自动带出数据信息，修改后保存显示与修改信息一。 “删除”按钮：单击删除按钮，数据删除成功，删除后列表不再显示该条数据。

查看更多 →

工具平台 API生产阶段 API中心通过对接集成，为API开发者提供API Arts等自动化的API设计/开发/测试工具，开发者通过华为云账号登录后即可使用。 API开放阶段 API开发者（API提供方）可以在API中心申请入驻为服务商，然后自助发布上架API。上架成功后，API

查看更多 →

了解平台 物联网平台为您提供海量设备的接入和管理能力，您能便捷高效的接入各种形态的终端设备，还能在云端进行丰富完备的设备管理。但是云端物联网平台，离终端设备较远，且终端设备本身又不具备强大的计算能力，对于实时性要求较高的场景，云端因网络延时、网络拥塞等原因导致问题处理不及时；以及

查看更多 →

平台管理 在初次使用数据库加密与访问控制时，您需要先完成本章节中的基础配置操作，才能正常使用。 网络配置 升级系统版本 备份与恢复配置信息 查看平台信息 查看高可用信息 父主题： 系统管理员操作指导

查看更多 →

EIHealth 平台 应用场景 基本概念

查看更多 →

Hive是否支持向量化查询 问题 当设置向量化参数hive.vectorized.execution.enabled=true时，为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常？ 回答 当前Hive不支持向量化执行。 向量化执行有很多社

查看更多 →

Delete轻量化删除表数据 本章节主要介绍轻量化delete删除表数据的SQL基本语法和使用说明。 本章节仅适用于 MRS 3.3.0及之后版本。 基本语法 DELETE FROM [db.]table [ON CLUSTER cluster] WHERE expr 使用示例 建表：

查看更多 →

使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。

查看更多 →

使用llm-compressor工具量化 当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库：

查看更多 →

使用AWQ量化工具转换权重 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

per-tensor+per-head静态量化场景 如需使用该场景量化方法，请自行准备kv-cache量化系数，格式和per-tensor静态量化所需的2. 抽取kv-cache量化系数生成的json文件一致，只需把每一层的量化系数修改为列表，列表的长度为kv的头数，列表中每一个值代表每一个kv头使用的量化系数。内容示例如下：

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

使用llm-compressor工具量化 当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库：

查看更多 →

--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step3

查看更多 →