基于PyTorch NPU快速部署开源大模型

创建推理作业 功能介绍 创建科学计算大模型中海洋类模型的推理作业。 URI POST /tasks 科学计算大模型的API请求地址可以直接在ModelArts Studio大模型开发平台获取： 登录ModelArts Studio大模型开发平台，进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evalua

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬

查看更多 →

空间。不同模型推理支持的max-model-len长度不同，具体差异请参见附录：基于vLLM不同模型推理支持最小卡数和最大序列说明。 --trust-remote-code：是否相信远程代码。 --dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16

查看更多 →

推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite k8s Cluster上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9

查看更多 →

xlsx # 保存未推理出结果的问题，例如超时、系统错误 │ ├── system_error.xlsx # 保存推理结果，但是可能答非所问，无法判断是否正确，需要人工判断进行纠偏。 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.905）

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，建议在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。若需要在生产环境中进行推理精度测试，请通过调用接口的方式进行测试。 Step1 执行精度测试 精度测试需要数据集进行测试。推荐公共数据集mmlu

查看更多 →

空间。不同模型推理支持的max-model-len长度不同，具体差异请参见附录：基于vLLM不同模型推理支持最小卡数和最大序列说明。 --trust-remote-code：是否相信远程代码。 --dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite k8s Cluster上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9

查看更多 →

里是ppl的配置项。由于离线执行推理，消耗的显存相当庞大。其中以下参数需要根据实际来调整。 batch_size, 推理时传入的 prompts 数量，可配合后面的参数适当减少 offline，是否启动离线模型，使用 ppl 时必须为 True tp_size，使用推理的卡数 max_seq

查看更多 →

Programming Interface，应用程序编程接口）的方式提供给用户，用户通过实时访问和调用API获取推理结果，帮助用户自动采集关键数据，打造智能化业务系统，提升业务效率。

查看更多 →

se读写数据的效率。越大的block块，配合压缩算法，压缩的效率就越好；但是由于HBase的读取数据是以block块为单位的，所以越大的block块，对于随机读的情况，性能可能会比较差。 如果要提升写入的性能，一般扩大到128KB或者256KB，可以提升写数据的效率，也不会影响太大的随机读性能。单位：字节。

查看更多 →

se读写数据的效率。越大的block块，配合压缩算法，压缩的效率就越好；但是由于HBase的读取数据是以block块为单位的，所以越大的block块，对于随机读的情况，性能可能会比较差。 如果要提升写入的性能，一般扩大到128KB或者256KB，可以提升写数据的效率，也不会影响太大的随机读性能。单位：字节。

查看更多 →

发布推理服务 模型训练服务支持一键发布在线推理服务。用户基于成熟的模型包，创建推理服务，直接在线调用服务得到推理结果。操作步骤如下。 单击模型包“操作”列的，弹出“发布推理服务”对话框，如图1所示。 图1 推理服务 配置对话框参数如表1所示。 表1 创建推理服务参数配置 参数名称

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

--distributed-executor-backend：多卡推理启动后端，可选值为"ray"或者"mp"，其中"ray"表示使用ray进行启动多卡推理，"mp"表示使用python多进程进行启动多卡推理。默认使用"mp"后端启动多卡推理。 高阶参数说明： --enable-prefix-

查看更多 →

里是ppl的配置项。由于离线执行推理，消耗的显存相当庞大。其中以下参数需要根据实际来调整。 batch_size, 推理时传入的 prompts 数量，可配合后面的参数适当减少 offline，是否启动离线模型，使用 ppl 时必须为 True tp_size，使用推理的卡数 max_seq

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）

查看更多 →