量化数据分析 更多内容
  • 推理模型量化

    推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题: 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.910)

    来自:帮助中心

    查看更多 →

  • 推理模型量化

    推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题: 主流开源大模型基于Lite Server适配PyTorch NPU推理指导(6.3.911)

    来自:帮助中心

    查看更多 →

  • 推理模型量化

    推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题: 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.911)

    来自:帮助中心

    查看更多 →

  • 使用SmoothQuant量化

    --per-token:激活值量化方法,若指定则为per-token粒度量化,否则为per-tensor粒度量化。 --per-channel:权重量化方法,若指定则为per-channel粒度量化,否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考部署推理服务,使用量化后权重部署AWQ量化服务。

    来自:帮助中心

    查看更多 →

  • 推理模型量化

    推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题: 主流开源大模型基于Lite Server适配PyTorch NPU推理指导(6.3.908)

    来自:帮助中心

    查看更多 →

  • 查询数据分析结果

    查询数据分析结果 功能介绍 根据数据集ID查询数据集的分析任务结果。 URI URI格式 GET /softcomai/datalake/v1.0/datasStatistics/{datasetId} 参数说明 参数名 是否必选 参数类型 备注 datasetId 是 String

    来自:帮助中心

    查看更多 →

  • 指标概述

    指标。指标是从多个角度分析事务的一种量化统计方式,通常是基于度量(如销售额、用户数等)和维度(如时间、地区等)计算得出的,例如销售额是一个度量,而月销售额则是一个基于时间维度的指标。主要包含以下三种类型: 原子指标:即最小粒度的指标,可用于量化统计事务属性,如总金额等。 衍生指标

    来自:帮助中心

    查看更多 →

  • 提交数据分析请求

    提交数据分析请求 功能介绍 管理员在数据集详情页面数据分析分页,提交数据分析请求。 URI URI格式 PUT /softcomai/datalake/v1.0/datasStatistics 参数说明 无。 请求 请求样例 PUT https://console.ulanqab

    来自:帮助中心

    查看更多 →

  • 使用SmoothQuant量化

    --per-token:激活值量化方法,如果指定则为per-token粒度量化,否则为per-tensor粒度量化。 --per-channel:权重量化方法,如果指定则为per-channel粒度量化,否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step6

    来自:帮助中心

    查看更多 →

  • 推理模型量化

    推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题: 主流开源大模型基于Lite Server适配PyTorch NPU推理指导(6.3.909)

    来自:帮助中心

    查看更多 →

  • 推理模型量化

    推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题: 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导(6.3.910)

    来自:帮助中心

    查看更多 →

  • 推理模型量化

    推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题: 主流开源大模型基于Lite Server适配PyTorch NPU推理指导(6.3.906)

    来自:帮助中心

    查看更多 →

  • 使用SmoothQuant量化

    --per-token:激活值量化方法,如果指定则为per-token粒度量化,否则为per-tensor粒度量化。 --per-channel:权重量化方法,如果指定则为per-channel粒度量化,否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考步骤六

    来自:帮助中心

    查看更多 →

  • 推理模型量化

    推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题: 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导(6.3.911)

    来自:帮助中心

    查看更多 →

  • 使用SmoothQuant量化

    --per-token:激活值量化方法,若指定则为per-token粒度量化,否则为per-tensor粒度量化。 --per-channel:权重量化方法,若指定则为per-channel粒度量化,否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考步骤六 启

    来自:帮助中心

    查看更多 →

  • 推理模型量化

    推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题: 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导(6.3.909)

    来自:帮助中心

    查看更多 →

  • 使用SmoothQuant量化

    --per-token:激活值量化方法,如果指定则为per-token粒度量化,否则为per-tensor粒度量化。 --per-channel:权重量化方法,如果指定则为per-channel粒度量化,否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考部署推理

    来自:帮助中心

    查看更多 →

  • 推理模型量化

    推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题: 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.908)

    来自:帮助中心

    查看更多 →

  • 使用SmoothQuant量化

    --per-token:激活值量化方法,若指定则为per-token粒度量化,否则为per-tensor粒度量化。 --per-channel:权重量化方法,若指定则为per-channel粒度量化,否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考步骤六 启

    来自:帮助中心

    查看更多 →

  • 推理模型量化

    推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题: 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.909)

    来自:帮助中心

    查看更多 →

  • 推理模型量化

    推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题: 主流开源大模型基于Lite Server适配PyTorch NPU推理指导(6.3.910)

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了
提示

您即将访问非华为云网站,请注意账号财产安全