登录AI原生应用引擎，在左侧导航栏选择“资产中心 > 大模型”，查看支持的模型服务。例如调用chatglm3-6b，model填写为platform:chatglm3-6b。 平台接入模型服务 登录AI原生应用引擎，在左侧导航栏选择“资产中心 > 大模型”，查看支持的模型服务。例

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表1。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

5-72B-Chat-AWQ 参数说明： model：模型路径。 Step3 启动AWQ量化服务 参考Step6 启动推理服务，在启动服务时添加如下命令。 -q awq 或者--quantization awq 父主题： 推理模型量化

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

5-72B-Chat-AWQ 参数说明： model：模型路径。 Step3 启动AWQ量化服务 参考Step6 启动推理服务，在启动服务时添加如下命令。 -q awq 或者--quantization awq 父主题： 推理模型量化

查看更多 →

5-72B-Chat-AWQ 参数说明： model：模型路径。 Step3 启动AWQ量化服务 参考Step6 启动推理服务，在启动服务时添加如下命令。 -q awq 或者--quantization awq 父主题： 推理模型量化

查看更多 →

学习空间 我的课堂 MOOC课程 我的考试

查看更多 →

自由模式：可以不按顺序学习课件，可随意选择一个开始学习 解锁模式：设置一个时间，按时间进程解锁学习，解锁模式中暂时不支持添加线下课和岗位测评 图4 选择模式 阶段任务 图5 阶段任务 指派范围：选择该学习任务学习的具体学员 图6 指派范围1 图7 指派范围2 设置：对学习任务进行合格标准、奖励等设置

查看更多 →

个人中心页面（我的岗位、我的技能） 在“我的学习”的页面，点击每个具体的课程卡片，进入到课程详情页面。可以按“进行中、已完成，必修，选修”过滤，可以按课程标题搜索 图6 我的学习的数据列表页面 课程的详情页面，可以直接开始学习； 每个课程有多个章节，可以开始学习具体的每个章节。目前支持视频、PDF两种格式的课程。

查看更多 →

云容器引擎-成长地图 | 华为云 图像搜索 图像搜索（ImageSearch）基于深度学习与图像识别技术，结合不同应用业务和行业场景，利用特征向量化与搜索能力，帮助客户从指定图库中搜索相同或相似的图片。 免费体验 图说E CS 立即使用 立即使用 成长地图 由浅入深，带您玩转ImageSearch

查看更多 →

概述 图像搜索（ Image Search ）基于深度学习与图像识别技术，结合不同应用业务和行业场景，利用特征向量化与搜索能力，帮助您从指定图库中搜索相同或相似的图片。 图像搜索服务以开放API（Application Programming Interface，应用程序编程接口）的

查看更多 →

5-72B-Chat-AWQ 参数说明： model：模型路径。 Step3 启动AWQ量化服务 参考Step6 启动推理服务，在启动服务时添加如下命令。 -q awq 或者--quantization awq 父主题： 推理模型量化

查看更多 →

5-72B-Chat-AWQ 参数说明： model：模型路径。 Step3 启动AWQ量化服务 参考Step6 启动推理服务，在启动服务时添加如下命令。 -q awq 或者--quantization awq 父主题： 推理模型量化

查看更多 →

使用AWQ量化 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

data_source_config 是 JSON 请参见表6，数据源参数配置。 algorithm_config 是 JSON 算法参数配置。 candidate_set_config 是 JSON 请参见表8，候选集参数配置。 表6 data_source_config参数说明 参数名称

查看更多 →

给定源实例中多个图片路径，到目标实例中搜索相同或相似图片。仅图库模型支持该接口。 公测 / 2018年6月 序号 功能名称 功能描述 阶段 相关文档 1 图像搜索服务正式公测上线 基于深度学习与图像识别技术，结合不同应用业务和行业场景，利用特征向量化与搜索能力，帮助客户从指定图库中搜索相同或相似的图片。 公测 产品介绍

查看更多 →

--per-token：激活值量化方法，若指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，若指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考部署推理服务，使用量化后权重部署AWQ量化服务。

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）

查看更多 →