-
大数据分析
![]()
均涌现出超高水平AI。人工智能应用在其中起到了不可替代的作用。 游戏智能体通常采用深度强化学习方法，从0开始，通过与环境的交互和试错，学会观察世界、执行动作、合作与竞争策略。每个AI智能体是一个深度神经网络模型，主要包含如下步骤： 通过GPU分析场景特征（自己，视野内队友，敌人，
来自：帮助中心 -
使用kv-cache-int8量化
![]()
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。
来自：帮助中心 -
使用kv-cache-int8量化
![]()
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。
来自：帮助中心 -
使用kv-cache-int8量化
![]()
per-tensor+per-head静态量化场景 如需使用该场景量化方法，请自行准备kv-cache量化系数，格式和per-tensor静态量化所需的2. 抽取kv-cache量化系数生成的json文件一致，只需把每一层的量化系数修改为列表，列表的长度为kv的头数，列表中每一个值代表每一个kv头使用的量化系数。内容示例如下：
来自：帮助中心 -
使用kv-cache-int8量化
![]()
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。
来自：帮助中心 -
使用AWQ量化工具转换权重
![]()
使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。
来自：帮助中心 -
使用SmoothQuant量化工具转换权重
![]()
--per-token：激活值量化方法，若指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，若指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step3
来自：帮助中心 -
恢复归档或深度归档存储对象
![]()
恢复归档或深度归档存储对象 功能介绍 如果要获取归档存储或深度归档对象的内容，需要先将对象恢复，然后再执行下载数据的操作。对象恢复后，会产生一个标准存储类型的对象副本，也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储类型的对象，在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。
来自：帮助中心 -
恢复归档或深度归档存储对象
![]()
用户授权。 注意事项 归档存储或深度归档存储的对象正在恢复的过程中，不支持修改恢复方式，不允许暂停或删除恢复任务。 数据恢复后，会产生一个标准存储类别的对象副本，即对象同时存在标准存储类别的对象副本和归档存储或深度归档存储类别的对象。归档存储或深度归档存储对象恢复完成时，对象的恢
来自：帮助中心 -
配置矢量化读取ORC数据
![]()
并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。
来自：帮助中心 -
使用kv-cache-int8量化
![]()
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。
来自：帮助中心 -
使用kv-cache-int8量化
![]()
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。
来自：帮助中心 -
使用AWQ量化工具转换权重
![]()
使用AWQ量化工具转换权重 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel
来自：帮助中心 -
使用kv-cache-int8量化
![]()
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。
来自：帮助中心 -
使用llm-compressor工具量化
![]()
使用llm-compressor工具量化 当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库：
来自：帮助中心 -
配置矢量化读取ORC数据
![]()
并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。
来自：帮助中心 -
超过最大递归深度导致训练作业失败
![]()
超过最大递归深度导致训练作业失败 问题现象 ModelArts训练作业报错： RuntimeError: maximum recursion depth exceeded in __instancecheck__ 原因分析 递归深度超过了Python默认的递归深度，导致训练失败。
来自：帮助中心 -
各个模型深度学习训练加速框架的选择
![]()
各个模型深度学习训练加速框架的选择 LlamaFactory框架使用两种训练框架： DeepSpeed和Accelerate都是针对深度学习训练加速的工具，但是它们的实现方式和应用场景有所不同。 DeepSpeed是一种深度学习加速框架，主要针对大规模模型和大规模数据集的训练。D
来自：帮助中心 -
蜂云轻量化云监控平台功能
![]()
蜂云轻量化云监控平台功能 蜂云轻量化云监控平台主要由云视频基座、智慧巡检、算法中心组成并对外提供服务， 具体功能模块详见下方平台首页。 图1 监控平台功能 父主题： 实施步骤
来自：帮助中心 -
使用SmoothQuant量化工具转换权重
![]()
--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step3
来自：帮助中心 -
使用SmoothQuant量化工具转换权重
![]()
--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step3
来自：帮助中心
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
