基于PyTorch NPU快速部署开源大模型

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎

查看更多 →

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎 数据生命周期管理-OLTP表压缩

查看更多 →

引擎管理 查询微服务引擎专享版支持规格 查询微服务引擎专享版列表 创建微服务引擎专享版 查询微服务引擎专享版详情 删除微服务引擎专享版 查询微服务引擎专享版任务详情 父主题： CS E API

查看更多 →

引擎管理 查询微服务引擎的规格列表 查询微服务引擎列表 创建微服务引擎 查询微服务引擎的详情 查询微服务引擎任务详情 查询微服务引擎配额详情 删除指定的微服务引擎 升级微服务引擎 更新微服务引擎配置 变更微服务引擎规格 重试ServiceComb引擎专享版失败任务 更新微服务引擎详情

查看更多 →

查询推理作业详情 功能介绍 根据创建推理作业获取的作业ID获取科学计算大模型的结果数据。 URI GET /tasks/{task_id} 调用查询推理作业详情API所需要的 域名 与创建推理作业API一致，可以参考创建推理作业获取。获取完整的创建推理作业API后，在这个API基础上去除末尾的/tasks即是域名。

查看更多 →

使用推理SDK 安装SDK 使用SDK前，需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在 SDK中心 获取最新的sdk包版本，替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在

查看更多 →

管理批量推理作业 查看批量服务详情 查看批量服务的事件 管理批量服务生命周期 修改批量服务配置 父主题： 使用ModelArts Standard部署模型并推理预测

查看更多 →

启动全量推理实例：必须为NPU实例，用于启动全量推理服务，负责输入的全量推理。全量推理占用至少1个容器。 Step7 启动增量推理实例：必须为NPU实例，用于启动增量推理服务，负责输入的增量推理。增量推理占用至少1个容器。 Step8 启动scheduler实例：可为CPU实例，用于启动api-serve

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）

查看更多 →

启动全量推理实例：必须为NPU实例，用于启动全量推理服务，负责输入的全量推理。全量推理占用至少1个容器。 步骤七 启动增量推理实例：必须为NPU实例，用于启动增量推理服务，负责输入的增量推理。增量推理占用至少1个容器。 步骤八 启动scheduler实例：可为CPU实例，用于启动api-server服务，负

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.911）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）

查看更多 →

包含数据管理、模型管理部署、在线推理、批量推理、工作流引擎平台、AI算法模型资产管理等功能模块，并配置管理标书中给定规模的AI推理资源。 整体系统：系统采用B/S架构，无需安装插件，无需下载客户端 AI应用模型管理：提供管理模型版本变化的能力，记录各版本模型发布时间、模型大小、精度、AI引擎、模型来源

查看更多 →

设置存储引擎 存储引擎会对数据库整体效率和性能具有巨大影响，请根据实际需求选择适当的存储引擎。用户可使用WITH ( [ORIENTATION | STORAGE_TYPE] [= value] [, ... ] )为表或索引指定一个可选的存储参数。参数的详细描述如下所示： ORIENTATION

查看更多 →

Ustore存储引擎 Ustore简介 存储格式 Ustore事务模型 闪回恢复 常用视图工具 常见问题及定位手段 父主题： 存储引擎

查看更多 →

本。根据独享引擎实例个数不同选择不同升级方法： 单独享引擎实例节点升级 多独享引擎实例节点升级 如果您的业务只部署了一个独享引擎实例，请参照以下操作升级实例。 建议申请一个新的独享引擎实例。 新申请的独享引擎实例为最新版本。当实例为最新版本时，“升级”按钮为灰化状态。 确保新申请

查看更多 →

设置存储引擎 存储引擎会对数据库整体效率和性能存在巨大影响，请根据实际需求选择适当的存储引擎。用户可使用WITH ( [ORIENTATION | STORAGE_TYPE] [= value] [, ... ] )为表或索引指定一个可选的存储参数。参数的详细描述如下所示： ORIENTATION

查看更多 →

数字主线引擎 其中表1展示了登录数字主线引擎后的产品功能。 表1 数字主线引擎功能概览 功能名称 功能描述 发布区域 我的工作空间 展示当前登录用户的导出、导入以及探索任务清单。 华北-北京四 xDM-F数据同步 通过xDM-F数据同步功能可将xDM-F模型与实例数据同步至LinkX-F系统。

查看更多 →