大模型开发基本概念 大模型相关概念 概念名 说明 大模型是什么 大模型是大规模预训练模型的简称，也称预训练模型或基础模型。所谓预训练模型，是指在一个原始任务上预先训练出一个初始模型，然后在下游任务中对该模型进行精调，以提高下游任务的准确性。大规模预训练模型则是指模型参数达到千亿、

查看更多 →

等。此外，平台支持导出和导入盘古大模型的功能，使用户能够将其他局点的盘古大模型迁移到本局点，便于模型资源共享。 父主题： 管理盘古大模型空间资产

查看更多 →

申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，需提交试用申请，申请通过后试用盘古大模型服务。 登录ModelArts Studio大模型开发平台首页。 在首页单击“试用咨询”，申请试用盘古大模型服务。 图1 申请试用 父主题： 准备工作

查看更多 →

置，启动模型部署。 表1 NlP大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“NLP大模型”。 部署模型 选择需要进行部署的模型。 部署方式 云上部署：算法部署至平台提供的资源池中。 最大TOKEN长度 模型可最大请求的上下文TOKEN数。

查看更多 →

大模型开发基本流程介绍 大模型（Large Models）通常指的是具有海量参数和复杂结构的深度学习模型，广泛应用于 自然语言处理 （NLP）等领域。开发一个大模型的流程可以分为以下几个主要步骤： 数据集准备：大模型的性能往往依赖于大量的训练数据。因此，数据集准备是模型开发的第一步。

查看更多 →

管理NLP大模型部署任务 模型更新、修改部署 成功创建部署任务后，如需修改已部署的模型或配置信息，可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型，但在修改部署时模型不可替换。 在“模型更新”或“修改部署”后进行升级操作时，可选择全量升级或滚动升级两种方式：

查看更多 →

开发盘古大模型Agent应用 Agent开发平台概述 手工编排Agent应用 创建与管理工作流

查看更多 →

发布模型到AI Gallery 除了Gallery提供的已有资产外，还可以将个人创建的资产发布至Gallery货架上，供其他AI开发者使用，实现资产共享。 模型资产上架 登录AI Gallery，选择右上角“我的Gallery”。 在左侧“我的资产 > 模型”下，选择未发布的模型，单击模型名称，进入模型详情页。

查看更多 →

服务订阅模型管理在“模型管理>云服务订阅模型”页面中。 模型来源不同。订阅模型，模型来源于AI Gallery；云服务订阅模型，模型来源于其他AI服务开发的模型。 订阅模型列表 在ModelArts的“模型管理>订阅模型”页面中，罗列了从AI Gallery订阅的所有模型。 订阅模型，可通过如下操作获得：

查看更多 →

工业感知AI模型库 工业AI感知库的建设目标是利用3C电子检测设备的运行所累积的资料，建立人工智能的智能模型库，利用人工智能模型训练，不断地进行迭代，最后将其应用到3C的电子测试中，以提高整个3C相关产品的测试性能。 工业AI感知库采用了标准的体系结构，实现了多模式的串行整合，并实现了云计算的迅速发行。

查看更多 →

托管模型到AI Gallery AI Gallery上每个资产的文件都会存储在线上的AI Gallery存储库（简称AI Gallery仓库）里面。每一个模型实例视作一个资产仓库，模型实例与资产仓库之间是一一对应的关系。例如，模型名称为“Test”，则AI Gallery仓库有个

查看更多 →

SDK的设计，同时还提供数据联动方案的设计与规划，致力于加速AI大模型训练 面向有AI大模型训练云存储性能瓶颈的客户提供性能诊断与性能优化方案设计服务，助力加速AI大模型训练并降低成本。 SFS Turbo AI大模型性能诊断与优化服务增量包 云存储性能诊断与优化服务 服务规格 服务内容 适用场景

查看更多 →

压缩后模型名称及描述。 参数填写完成后单击“立即创建”创建模型压缩任务。 步骤8：部署NLP大模型 在左侧导航栏中选择“模型开发 > 模型部署”，单击“创建部署”。 在“创建部署”页面，选择“盘古大模型 > NLP大模型”，单击“从资产选模型”，选择步骤7：压缩NLP大模型步骤中压缩后的模型。

查看更多 →

，启动模型部署。 表1 科学计算大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。 场景 选择模型场景，分为“全球天气要素预测”、“全球中期降水预测”、“全球中期海洋智能预测”、“区域中期海洋智能预测”、

查看更多 →

_model.py中的main函数，保存模型时将safe_serialization指定为False int8_model.save_pretrained(output_path,safe_serialization=False) 父主题： 主流开源大模型基于Server适配PyTorch

查看更多 →

使用API调用科学计算大模型 使用API调用科学计算大模型步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 单击左侧“模型开发 > 模型部署”。 若调用已部署的模型，单击状态为“运行中”的模型名称，在“详情”页签，可获取API的URL。 图1 获取已部署模型的调用路径

查看更多 →

查看NLP大模型部署任务详情 部署任务创建成功后，可以在“模型开发 > 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时，表示模型已成功部署，可以进行调用。 此过程可能需要较长时间，请耐心等待。在此过程中，可单击模型名称可进入详情页，查看模

查看更多 →

盘古NLP大模型能力与规格 盘古NLP大模型是业界首个超千亿参数的中文预训练大模型，结合了大数据预训练和多源知识，借助持续学习不断吸收海量文本数据，持续提升模型性能。除了实现行业知识检索、文案生成、阅读理解等基础功能外，盘古NLP大模型还具备模型调用等高级特性，可在智能客服、创意

查看更多 →

--max-model-len的值。 config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3

查看更多 →

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909）

查看更多 →