使用AWQ量化 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：per-group Step1 模型量化 可以在Huggingfac

查看更多 →

convert_awq_to_npu.py --model /home/ma-user/Qwen1.5-72B-Chat-AWQ 参数说明： model：模型路径。 Step4 启动AWQ量化服务 参考部署推理服务，使用量化后权重部署AWQ量化服务。 注：Step3 创建服务启动脚

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

添加文本模块 在一个网站中文字和图片是主要的表现形式，本章节介绍如何在网站中添加文本模块。 视频帮助 如何添加文本 编辑文本 文本编辑方法如下： 登录企业门户控制台，进入“网站设计>站点编辑”界面，单击添加文本按钮，如图1所示。 图1 添加文本 将文本按钮拖动到编辑页面中，将显示

查看更多 →

文本审核 文本 内容审核 （V3） 文本内容审核（V2） 父主题： SDK调用示例

查看更多 →

文本审核 文本内容审核（v3） 文本内容审核（v2） 父主题： SDK调用示例

查看更多 →

在页面左侧的组件区域单击“文本”组件，切换至文本组件页。 图1 文本组件 拖动或单击文本组件至画布区域。 在页面右侧设置文本的相关信息。 标题：在右侧的“字段 > 文本内容框”内输入对应的文本，在“跳转链接”框内输入要跳转的链接。 文本：在右侧的“字段 > 文本内容框”内输入对应的文本。 词云：在右侧的“字段

查看更多 →

控制文本搜索 解析文档 解析查询 排序查询结果 高亮搜索结果 父主题： 全文检索

查看更多 →

文本审核 文本内容审核（V3） 文本内容审核（V2） 父主题： API

查看更多 →

控制文本搜索 解析文档 解析查询 排序查询结果 高亮搜索结果 父主题： 全文检索

查看更多 →

使用llm-compressor工具量化 当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库：

查看更多 →

控制文本搜索 解析文档 解析查询 排序查询结果 高亮搜索结果 父主题： 全文检索

查看更多 →

文本搜索类型 GaussDB (DWS)提供了tsvector和tsquery两种数据类型用于支持全文检索。tsvector类型表示为文本搜索优化的文件格式，tsquery类型表示文本查询。 tsvector tsvector类型表示一个检索单元，通常是一个数据库表中的一行文本字段或者这些字段的组合。

查看更多 →

文本审核 文本内容审核（V3） 文本内容审核（V2） 父主题： SDK调用示例

查看更多 →

制作文本 创建文本 标题 文本 词云 时间器 表格轮播 表格 数字翻牌器 阈值翻牌器 跑马灯 轮播列表柱状图 矩形树图 父主题： 大屏组件

查看更多 →

文本组合 文本组合是将当前表单中的字段按照一定的格式进行组合。 在表单开发页面，从“数据组件”中，拖拽“文本组合”组件至表单设计区域，如图1。 图1 文本组合 显示名称：该组件在页面呈现给用户的名称，可以设置为中文，也可以设置为英文。 选择字段：选择组合的字段，字段和分隔字符不能超过10个。

查看更多 →

单击“保存”。 使用轻量化模型卡片 已添加“轻量化模型”卡片到角色桌面，并且已上传文件进行轻量化转换。如果您还没有进行轻量化转换，卡片内容为空。 您可以参见轻量化模型转换API，调用相应的API上传待轻量化转换的文件，查询轻量化转换的任务和下载轻量化文件。 在卡片左侧的列表中选

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）

查看更多 →

--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step6

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）

查看更多 →