创建科学计算大模型部署任务 模型训练完成后，可以启动模型的部署操作。 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，模型类型选择“科学计算大模型”，参考表1完成部署参数设置，启动模型部署。

查看更多 →

压缩后模型名称及描述。 参数填写完成后单击“立即创建”创建模型压缩任务。 步骤8：部署NLP大模型 在左侧导航栏中选择“模型开发 > 模型部署”，单击“创建部署”。 在“创建部署”页面，选择“盘古大模型 > NLP大模型”，单击“从资产选模型”，选择步骤7：压缩NLP大模型步骤中压缩后的模型。

查看更多 →

el.py中的main函数，保存模型时将safe_serialization指定为False int8_model.save_pretrained(output_path,safe_serialization=False) 父主题： 主流开源大模型基于Server适配PyTorch

查看更多 →

查找表模型列表 功能介绍 通过中英文名称、创建者、审核人、状态、修改时间分页查找关系建模中的表模型信息，包括逻辑实体、物理表和其属性。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/table-model 表1 路径参数 参数 是否必选

查看更多 →

在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古科学计算大模型支持的具体操作： 表2 盘古科学计算大模型支持的操作 模型 预训练 微调

查看更多 →

发布训练后的科学计算大模型 科学计算大模型训练完成后，需要执行发布操作，操作步骤如下： 在模型训练列表页面选择训练完成的任务，单击训练任务名称进去详情页。 在“训练结果”页面，单击“发布”。 图1 训练结果 填写资产名称、描述，选择对应的可见性，单击“确定”发布模型。 发布后的模型会作为资产同步显示在“空间资产

查看更多 →

查看NLP大模型训练状态与指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 已发布

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）

查看更多 →

之后才能进行汇总表的新建，将复合指标计算结果写入汇总表中。 单击规范设计左侧“维度建模”，切换到汇总表页面，单击新建，进入新增汇总表编辑页面。 图5 汇总表1 进入新增汇总表编辑页面。填入所属主题、表名称、表编码、统计维度选择客户类型、数据连接类型、数据源、数据库和、Schema、资产责任人。

查看更多 →

使用大模型在ModelArts Standard创建模型部署在线服务 背景说明 目前大模型的参数量已经达到千亿甚至万亿，随之大模型的体积也越来越大。千亿参数大模型的体积超过200G，在版本管理、生产部署上对平台系统产生了新的要求。例如：导入模型时，需要支持动态调整租户存储配额；模

查看更多 →

资源属于指定企业项目ID 规则详情 表1 规则详情 参数 说明 规则名称 resource-in-enterprise-project 规则展示名 资源属于指定企业项目ID 规则描述 指定企业项目ID，属于该企业项目的资源，视为“不合规”。 标签 enterprise project

查看更多 →

已开通 数据湖探索 服务。未开通则访问 数据湖 探索服务，单击“立即购买”后开通该服务。 已开通云 数据仓库 GaussDB (DWS)服务。未开通则访问云数据仓库GaussDB(DWS)服务，单击“购买”后开通该服务。 已开通Astro大屏服务， 未开通则访问Astro大屏应用，单击“立即使用”后开通该服务。 示例场景 在本示例中，我们实现以下场景：

查看更多 →

计算大模型”。模型选择完成后，参考表1、表2完成训练参数设置，启动模型训练。 表1 科学计算大模型（中期天气要素预测）训练参数说明 参数分类 参数名称 参数说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。 场景 选择“中期天气要素预测”。 训练类型

查看更多 →

NLP大模型开发流程见图4、表4。 图4 NLP大模型开发流程图 表4 NLP大模型开发流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 申请试用盘古大模型服务 配置服务访问授权 为了

查看更多 →

选择合适的模型，从而提高模型的整体效果，详见表1。 此外，不同类型的NLP大模型在训练过程中，读取中文、英文内容时，字符长度转换为Token长度的转换比有所不同，详见表2。 表1 不同系列NLP大模型对处理文本的长度差异 模型支持区域 模型名称 可处理最大Token长度 说明 西南-贵阳一

查看更多 →

使用“能力调测”调用NLP大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前，需完成模型的部署操作，详见创建NLP大模型部署任务。 NLP大模型支持文本对话能力，在输入框中输入问题，模型就会返回对应的答案内容。 图1 调测NLP大模型 表1 NLP大模型能力调测参数说明

查看更多 →

查看科学计算大模型部署任务详情 部署任务创建成功后，可以在“模型开发 > 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时，表示模型已成功部署，可以进行调用。 此过程可能需要较长时间，请耐心等待。在此过程中，可单击模型名称可进入详情页，查看

查看更多 →

大模型微调需要的数据有要求吗？ AI原生应用引擎用于大模型微调的数据集任务领域为“ 自然语言处理 ”、数据集格式为“对话文本”。 文件内容要求为标准json数组，例如： [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）

查看更多 →

附录：大模型推理standard常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified

查看更多 →