使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

变换、合成等操作直接或间接的方式增加数据量。 数据生成应用相关深度学习模型，通过对原数据集进行学习，训练生成新的数据集的方式增加数据量。 数据域迁移应用相关深度学习模型，通过对原域和目标域数据集进行学习，训练生成原域向目标域迁移的数据。 父主题： 处理ModelArts数据集中的数据

查看更多 →

分词 将文本切分成以独立的词为单位的序列，且在该过程中，对切分得到的词汇进行词性的标注。 依存句法分析 分析句子中词汇和词汇之间的相互依存关系，得到句子的句法结构。例如中文中使用依存句法分析，将一句话分析出主谓宾结构，将宾语定义为谓语动词的支配对象等。 文本相似度 对文本对进行相

查看更多 →

自动学习 准备数据 模型训练 部署上线 模型发布

查看更多 →

表3 预训练和微调训练类型区别 训练方式 训练目的 训练数据 模型效果 应用场景举例 预训练 关注通用性：预训练旨在让模型学习广泛的通用知识，建立词汇、句法和语义的基础理解。通过大规模的通用数据训练，模型可以掌握丰富的语言模式，如语言结构、词义关系和常见的句型。 使用大规模通用数

查看更多 →

。 单击“保存”。 使用轻量化模型卡片 已添加“轻量化模型”卡片到角色桌面，并且已上传文件进行轻量化转换。如果您还没有进行轻量化转换，卡片内容为空。 您可以参见轻量化模型转换API，调用相应的API上传待轻量化转换的文件，查询轻量化转换的任务和下载轻量化文件。 在卡片左侧的列表中

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911）

查看更多 →

--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考步骤六

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）

查看更多 →

--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step6

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910）

查看更多 →

确认学习结果 HSS学习完白名单策略关联的 服务器 后，输出的学习结果中可能存在一些特征不明显的可疑进程需要再次进行确认，您可以手动或设置系统自动将这些可疑进程确认并分类标记为可疑、恶意或可信进程。 学习结果确认方式，在创建白名单策略时可设置： “学习结果确认方式”选择的“自动确认可

查看更多 →

自然语言处理基础服务接口说明 分词 多粒度分词 依存句法分析 命名实体识别（基础版） 命名实体识别（领域版） 文本相似度（基础版） 文本相似度（高级版） 句向量 实体链接 关键词抽取 事件抽取 成分句法分析 父主题： API

查看更多 →

向量化执行引擎 GS_232010001 错误码： [SonicHashJoin]: The memory of the current statement is not controlled. 解决方案：请设置hashjoin_spill_strategy为0-2。 level：

查看更多 →

查询轻量化任务状态 功能介绍 查询轻量化任务状态 图纸上传完成后，即可调用该接口获取图纸轻量化转换状态，该接口可能需要调用多次，直到返回的数据轻量化状态为SUCCESS或FAILED，即代表轻量化转换结束。 如果轻量化状态为SUCCESS，则代表图纸轻量化转换成功，此时可通过li

查看更多 →

下载轻量化文件 功能介绍 下载轻量化文件 文件轻量化完成后，会以目录文件夹的形式存储在系统中，通过查询轻量化任务状态能够获取到轻量化文件的存储目录，即属性lightweight_file_path的值。该目录下会存在大量的轻量化文件，这些文件信息会存储在该目录下的Configurations

查看更多 →

内容数据量化 SOW中搬迁资源量以及工作内容描述补充说明内容需数据量化。 父主题： SOW（项目工作说明书）注意事项

查看更多 →

--per-token：激活值量化方法，若指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，若指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step6

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.907）

查看更多 →