管理NLP大模型训练任务 在训练任务列表中，任务创建者可以对创建好的任务进行编辑、启动、克隆（复制训练任务）、重试（重新训练任务）和删除操作。 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型训练”，进入模型训练页面，可进行如下操作：

查看更多 →

开发盘古大模型提示词工程 什么是提示词工程 获取提示词模板 撰写提示词 横向比较提示词效果 批量评估提示词效果 发布提示词

查看更多 →

发布训练后的NLP大模型 NLP大模型训练完成后，需要执行发布操作，操作步骤如下： 在模型训练列表页面选择训练完成的任务，单击训练任务名称进去详情页。 在“训练结果”页面，单击“发布”。 图1 训练结果页面 填写资产名称、描述，选择对应的可见性，单击“确定”发布模型。 发布后的模型会作为资产同步显示在“空间资产

查看更多 →

大模型微调训练类问题 无监督领域知识数据量无法支持增量预训练，如何进行模型学习 如何调整训练参数，使盘古大模型效果最优 如何判断盘古大模型训练状态是否正常 如何评估微调后的盘古大模型是否正常 如何调整推理参数，使盘古大模型效果最优 为什么微调后的盘古大模型总是重复相同的回答 为什么微调后的盘古大模型的回答中会出现乱码

查看更多 →

8大特色压测模型简介 性能测试服务沉淀了30年高并发测试工程方案与实践，提供了浪涌（突发流量）、智能摸高（系统性能摸底）、震荡（模拟高低峰）、TPS模式（压力自定义）等8大模式，快速构建真实场景，助力产品压测场景覆盖率提升50%，满足客户全场景的压测诉求。 压力测试支持的8种模式如下：

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启。 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910）

查看更多 →

el.py中的main函数，保存模型时将safe_serialization指定为False int8_model.save_pretrained(output_path,safe_serialization=False) 父主题： 主流开源大模型基于Standard适配PyTorch

查看更多 →

--max-model-len的值。 config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3

查看更多 →

创建科学计算大模型部署任务 模型训练完成后，可以启动模型的部署操作。 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，模型类型选择“科学计算大模型”，参考表1完成部署参数设置，启动模型部署。

查看更多 →

压缩后模型名称及描述。 参数填写完成后单击“立即创建”创建模型压缩任务。 步骤8：部署NLP大模型 在左侧导航栏中选择“模型开发 > 模型部署”，单击“创建部署”。 在“创建部署”页面，选择“盘古大模型 > NLP大模型”，单击“从资产选模型”，选择步骤7：压缩NLP大模型步骤中压缩后的模型。

查看更多 →

el.py中的main函数，保存模型时将safe_serialization指定为False int8_model.save_pretrained(output_path,safe_serialization=False) 父主题： 主流开源大模型基于Server适配PyTorch

查看更多 →

在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古科学计算大模型支持的具体操作： 表2 盘古科学计算大模型支持的操作 模型 预训练 微调

查看更多 →

发布训练后的科学计算大模型 科学计算大模型训练完成后，需要执行发布操作，操作步骤如下： 在模型训练列表页面选择训练完成的任务，单击训练任务名称进去详情页。 在“训练结果”页面，单击“发布”。 图1 训练结果 填写资产名称、描述，选择对应的可见性，单击“确定”发布模型。 发布后的模型会作为资产同步显示在“空间资产

查看更多 →

查看NLP大模型训练状态与指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 已发布

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）

查看更多 →

计算大模型”。模型选择完成后，参考表1、表2完成训练参数设置，启动模型训练。 表1 科学计算大模型（中期天气要素预测）训练参数说明 参数分类 参数名称 参数说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。 场景 选择“中期天气要素预测”。 训练类型

查看更多 →

使用大模型在ModelArts Standard创建模型部署在线服务 背景说明 目前大模型的参数量已经达到千亿甚至万亿，随之大模型的体积也越来越大。千亿参数大模型的体积超过200G，在版本管理、生产部署上对平台系统产生了新的要求。例如：导入模型时，需要支持动态调整租户存储配额；模

查看更多 →

模型推理 将数据输入模型进行推理，推理结束后将推理结果返回。 接口调用 virtual HiLensEC hilens::Model::Infer(const InferDataVec & inputs, InferDataVec & outputs) 参数说明 表1 参数说明 参数名

查看更多 →

开发盘古科学计算大模型 训练科学计算大模型 进行模型的训练，如预训练、微调等训练方式。 训练科学计算大模型 部署科学计算大模型 部署后的模型可进行调用操作。 部署科学计算大模型 调用科学计算大模型 支持“能力调测”功能与API两种方式调用大模型。 调用科学计算大模型 管理盘古大模型空间资产

查看更多 →

NLP大模型训练流程与选择建议 NLP大模型训练流程介绍 NLP大模型专门用于处理和理解人类语言。它能够执行多种任务，如对话问答、文案生成和阅读理解，同时具备逻辑推理、代码生成和插件调用等高级功能。 NLP大模型的训练分为两个关键阶段：预训练和微调。 预训练阶段：在这一阶段，模型通过

查看更多 →