-
向量化引擎支持的数据类型
![]()
向量化引擎支持的数据类型 向量化引擎支持的数据类型如表1所示。 表1 向量化引擎支持的数据类型 类别 数据类型 长度 是否支持 Numeric Types tinyint [unsigned] 1 支持 smallint [unsigned] 2 支持 mediumint [unsigned]
来自：帮助中心 -
向量化引擎支持的数据类型
![]()
向量化引擎支持的数据类型 向量化引擎支持的数据类型如表1所示。 表1 向量化引擎支持的数据类型 类别 数据类型 长度 是否支持 Numeric Types tinyint [unsigned] 1 支持 smallint [unsigned] 2 支持 mediumint [unsigned]
来自：帮助中心 -
使用kv-cache-int8量化
![]()
运行完成后，会在output_dir下生成量化后的权重。量化后的权重包括原始权重和kvcache的scale系数。 Step2 抽取kv-cache量化系数 该步骤的目的是将Step1使用tensorRT量化工具进行模型量化中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供：
来自：帮助中心 -
概述
-
使用kv-cache-int8量化
![]()
运行完成后，会在output_dir下生成量化后的权重。量化后的权重包括原始权重和kvcache的scale系数。 Step2 抽取kv-cache量化系数 该步骤的目的是将Step1使用tensorRT量化工具进行模型量化中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供：
来自：帮助中心 -
可信智能计算服务 TICS
![]()
EdgeFabric）服务部署，IEF通过纳管您的边缘节点，提供将云上应用延伸到边缘的能力，联动边缘和云端的数据，满足客户对边缘计算资源的远程管控、数据处理、分析决策、智能化的诉求。同时，在云端提供统一的设备/应用监控、日志采集等运维能力，为企业提供完整的边缘和云协同的一体化服务的边缘计算解决方案。 已发布区域：北京四、北京二
来自：帮助中心 -
使用kv-cache-int8量化
![]()
运行完成后，会在output_dir下生成量化后的权重。量化后的权重包括原始权重和kvcache的scale系数。 Step2 抽取kv-cache量化系数 该步骤的目的是将Step1使用tensorRT量化工具进行模型量化中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供：
来自：帮助中心 -
使用kv-cache-int8量化
![]()
per-tensor+per-head静态量化场景 如需使用该场景量化方法，请自行准备kv-cache量化系数，格式和per-tensor静态量化所需的2. 抽取kv-cache量化系数生成的json文件一致，只需把每一层的量化系数修改为列表，列表的长度为kv的头数，列表中每一个值代表每一个kv头使用的量化系数。内容示例如下：
来自：帮助中心 -
AI原生应用引擎基本概念
-
Volcano调度概述
![]()
Scheduler是负责Pod调度的组件，它由一系列action和plugin组成。action定义了调度各环节中需要执行的动作；plugin根据不同场景提供了action 中算法的具体实现细节。Volcano Scheduler具有高度的可扩展性，您可以根据需要实现自己的action和plugin。
来自：帮助中心 -
轻量化模型转换API
![]()
-
创建实体时选择构建表的作用是什么？
![]()
创建实体时选择构建表的作用是什么？ 登录数字主线引擎，创建实体时如果选择构建表，实体发布后，系统会自动在用户指定的数据库中，基于实体的属性信息，创建一个空表，字段与属性逐一对应，并自动生成对应的关系型数据库映射。 父主题： 数字主线引擎相关问题
来自：帮助中心 -
创建iDME操作用户（OrgID授权）
![]()
有该组织的所有管理权限。一个账号最多可以创建五个组织。 为组织添加成员。 在OrgID中登录组织的管理中心，为已创建的组织添加成员。 部署应用时选择可访问应用的组织。 在iDME控制台中，根据部署应用时绑定的组织，iDME会自动在OrgID中创建应用，并授权应用给组织中的全部成员。
来自：帮助中心 -
方案概述
![]()
球范围内教学理念、教学方法、学习环境和教师与学生行为模式的深刻变革。当下，教育培训的改革已从内容供给的改革（在线课程）、教与学模式的改革、评价模式的改革以及课堂环节的改变（智慧教室建设）等几个方面全面铺开。课堂是教育的主战场，是人才培养的主渠道，目前的“课堂教学”环节却面临着诸多问题：
来自：帮助中心 -
查询审计日志的操作用户列表
![]()
fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见 API Explorer 的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求成功。 400 服务器未能处理请求。 401 请求鉴权校验失败，访问被拒绝。 403
来自：帮助中心 -
下载轻量化文件
![]()
下载轻量化文件 功能介绍 下载轻量化文件 文件轻量化完成后，会以目录文件夹的形式存储在系统中，通过查询轻量化任务状态能够获取到轻量化文件的存储目录，即属性lightweight_file_path的值。该目录下会存在大量的轻量化文件，这些文件信息会存储在该目录下的Configurations
来自：帮助中心 -
推理模型量化
![]()
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）
来自：帮助中心 -
使用SmoothQuant量化
![]()
会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的系数保存在--scale-output参数指定的路径下。如果有指定的量化系数，则不需此参数，直接读取--scale-input参数指定的量化系数输入路径即可。
来自：帮助中心 -
推理模型量化
![]()
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）
来自：帮助中心 -
推理模型量化
![]()
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.910）
来自：帮助中心 -
使用SmoothQuant量化
![]()
会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的系数保存在--scale-output参数指定的路径下。如果有指定的量化系数，则不需此参数，直接读取--scale-input参数指定的量化系数输入路径即可。
来自：帮助中心
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
