支持发布的数据格式 ModelArts Studio大模型开发平台支持将文本类、图片类数据集发布为三种格式： 默认格式：适用于广泛的数据使用场景，满足大多数模型训练的标准需求。 盘古格式：专为盘古大模型训练设计的格式，确保数据集在盘古模型训练中的兼容性和一致性。 自定义格式：适用于文本

查看更多 →

将用户添加至创建用户组步骤中创建的用户组，单击“创建用户”，完成IAM用户的创建。 图8 加入用户组 添加盘古子用户至工作空间 在添加盘古子用户至工作空间前，请先完成创建盘古子用户。 登录ModelArts Studio大模型开发平台。 进入需要添加子用户的空间，在空间内单击左侧导航栏“空间管理”，并进入“成员管理”页签。

查看更多 →

准备工作 申请试用盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间

查看更多 →

，启动模型部署。 表1 科学计算大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。 场景 选择模型场景，分为“全球天气要素预测”、“全球中期降水预测”、“全球中期海洋智能预测”、“区域中期海洋智能预测”、

查看更多 →

使用API调用科学计算大模型 使用API调用科学计算大模型步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 单击左侧“模型开发 > 模型部署”。 若调用已部署的模型，单击状态为“运行中”的模型名称，在“详情”页签，可获取API的URL。 图1 获取已部署模型的调用路径

查看更多 →

查看NLP大模型部署任务详情 部署任务创建成功后，可以在“模型开发 > 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时，表示模型已成功部署，可以进行调用。 此过程可能需要较长时间，请耐心等待。在此过程中，可单击模型名称可进入详情页，查看模

查看更多 →

--max-model-len的值。 config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3

查看更多 →

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909）

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）

查看更多 →

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →

集格式转换。 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。 父主题： 使用数据工程准备与处理数据集

查看更多 →

欢迎使用盘古辅助制药平台 盘古辅助制药平台是以盘古药物大模型为基础打造的一站式药研平台，助力药物研发效率提升60%+。平台提供靶点发现，苗头化合物发现，先导化合物优化全流程药研所需功能。同时基于云原生的软硬件一体化加速，大大提升虚拟筛选和分子动力学模拟计算效率。 全平台无需软硬件

查看更多 →

提示工程是一项将知识、技巧和直觉结合的工作，需要通过不断实践实现模型输出效果的提升。提示词和模型之间存在着密切关系，本指南结合了大模型通用的提示工程技巧以及盘古大模型的调优实践经验，总结的一些技巧和方法更为适合基于盘古大模型的提示工程。 本文的方法论及技巧部分使用了较为简单的任务作为

查看更多 →

NLP模型-云底座：通过华为云提供的盘古nlp大模型访问方式。 NLP模型-昇腾云：通过昇腾云的MAAS服务提供的nlp大模型访问方式。如果选择此模型进行问答，建议设置模型生成最大新词数不超过512。 NLP模型-裸机：通过裸机部署提供的盘古nlp大模型访问方式。 搜索Embedding模型：搜索向量化模型，支持将文本转化成向量。

查看更多 →

盘古辅助药物 为什么下载的部分靶点文件，显示不完整 自定义数据库常见问题

查看更多 →

“微调”。模型选择完成后，参考表1完成训练参数设置。 表1 NLP大模型微调参数说明 参数分类 训练参数 参数说明 训练配置 模型来源 选择“盘古大模型” 模型类型 选择“NLP大模型”。 训练类型 选择“微调”。 训练目标 全量微调：在模型有监督微调过程中，对大模型的全部参数进

查看更多 →

为什么微调后的盘古大模型评估结果很好，但实际场景表现很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场

查看更多 →

API凭证”页面，获取user name、domain name、project id。 由于盘古大模型当前部署在“西南-贵阳一”区域，需要获取与“西南-贵阳一”区域对应的project id。 图1 获取user name、domain name、project id 打开Pos

查看更多 →

AI开发平台ModelArts接入LTS 支持AI开发平台ModelArts日志接入LTS。 具体接入方法请参见部署模型为在线服务。 父主题： 使用云服务接入LTS

查看更多 →

管理NLP大模型训练任务 在训练任务列表中，任务创建者可以对创建好的任务进行编辑、启动、克隆（复制训练任务）、重试（重新训练任务）和删除操作。 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型训练”，进入模型训练页面，可进行如下操作：

查看更多 →