基于PyTorch NPU快速部署开源大模型

启动全量推理实例：必须为NPU实例，用于启动全量推理服务，负责输入的全量推理。全量推理占用至少1个容器。 Step7 启动增量推理实例：必须为NPU实例，用于启动增量推理服务，负责输入的增量推理。增量推理占用至少1个容器。 Step8 启动scheduler实例：可为CPU实例，用于启动api-serve

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）

查看更多 →

启动全量推理实例：必须为NPU实例，用于启动全量推理服务，负责输入的全量推理。全量推理占用至少1个容器。 步骤七 启动增量推理实例：必须为NPU实例，用于启动增量推理服务，负责输入的增量推理。增量推理占用至少1个容器。 步骤八 启动scheduler实例：可为CPU实例，用于启动api-server服务，负

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.911）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）

查看更多 →

包含数据管理、模型管理部署、在线推理、批量推理、工作流引擎平台、AI算法模型资产管理等功能模块，并配置管理标书中给定规模的AI推理资源。 整体系统：系统采用B/S架构，无需安装插件，无需下载客户端 AI应用模型管理：提供管理模型版本变化的能力，记录各版本模型发布时间、模型大小、精度、AI引擎、模型来源

查看更多 →

Ustore存储引擎 Ustore简介 存储格式 Ustore事务模型 闪回恢复 常用视图工具 常见问题及定位手段 父主题： 存储引擎

查看更多 →

设置存储引擎 存储引擎会对数据库整体效率和性能具有巨大影响，请根据实际需求选择适当的存储引擎。用户可使用WITH ( [ORIENTATION | STORAGE_TYPE] [= value] [, ... ] )为表或索引指定一个可选的存储参数。参数的详细描述如下所示： ORIENTATION

查看更多 →

数字主线引擎 其中表1展示了登录数字主线引擎后的产品功能。 表1 数字主线引擎功能概览 功能名称 功能描述 发布区域 我的工作空间 展示当前登录用户的导出、导入以及探索任务清单。 华北-北京四 xDM-F数据同步 通过xDM-F数据同步功能可将xDM-F模型与实例数据同步至LinkX-F系统。

查看更多 →

本。根据独享引擎实例个数不同选择不同升级方法： 单独享引擎实例节点升级 多独享引擎实例节点升级 如果您的业务只部署了一个独享引擎实例，请参照以下操作升级实例。 建议申请一个新的独享引擎实例。 新申请的独享引擎实例为最新版本。当实例为最新版本时，“升级”按钮为灰化状态。 确保新申请

查看更多 →

设置存储引擎 存储引擎会对数据库整体效率和性能存在巨大影响，请根据实际需求选择适当的存储引擎。用户可使用WITH ( [ORIENTATION | STORAGE_TYPE] [= value] [, ... ] )为表或索引指定一个可选的存储参数。参数的详细描述如下所示： ORIENTATION

查看更多 →

查询推理服务标签 功能介绍 查询当前项目下的推理服务标签，默认查询所有工作空间，无权限不返回标签数据。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1

查看更多 →

推理部署计费项 计费说明 在ModelArts进行服务部署时，会产生计算资源和存储资源的累计值计费。计算资源为运行推理服务的费用。存储资源包括数据存储到OBS的计费。具体内容如表1所示。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。

查看更多 →

查询推理作业详情 功能介绍 根据创建推理作业获取的作业ID获取科学计算大模型的结果数据。 URI GET /tasks/{task_id} 调用查询推理作业详情API所需要的 域名 与创建推理作业API一致，可以参考创建推理作业获取。获取完整的创建推理作业API后，在这个API基础上去除末尾的/tasks即是域名。

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.907）

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）

查看更多 →