附录：大模型推理standard常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified

查看更多 →

大模型微调需要的数据有要求吗？ AI原生应用引擎用于大模型微调的数据集任务领域为“ 自然语言处理 ”、数据集格式为“对话文本”。 文件内容要求为标准json数组，例如： [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":

查看更多 →

在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古科学计算大模型支持的具体操作： 表2 盘古科学计算大模型支持的操作 模型 预训练 微调

查看更多 →

发布训练后的科学计算大模型 科学计算大模型训练完成后，需要执行发布操作，操作步骤如下： 在模型训练列表页面选择训练完成的任务，单击训练任务名称进去详情页。 在“训练结果”页面，单击“发布”。 图1 训练结果 填写资产名称、描述，选择对应的可见性，单击“确定”发布模型。 发布后的模型会作为资产同步显示在“空间资产

查看更多 →

查看NLP大模型训练状态与指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 已发布

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）

查看更多 →

计算大模型”。模型选择完成后，参考表1、表2完成训练参数设置，启动模型训练。 表1 科学计算大模型（中期天气要素预测）训练参数说明 参数分类 参数名称 参数说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。 场景 选择“中期天气要素预测”。 训练类型

查看更多 →

云存储AI大模型性能诊断与优化服务 SFS Turbo AI大模型性能诊断与优化服务基础包 针对百卡以内规模的AI大模型训练与推理场景 华为云国内优先提供远程服务，会结合项目需求，提供连续的、不超过2人天的现场驻场服 352,800.00 每套 SFS Turbo AI大模型性能诊断与优化服务增量包

查看更多 →

华为HiLens支持哪些模型？ HiLens支持导入的模型可为“.om”格式、“.pb”格式或“.caffemodel”格式，其中“.om”格式的模型才可以在HiLens Kit上运行，“.pb”格式或“.caffemodel”格式的模型在“导入（转换）”过程中，华为HiLens平台会自动将模型转换为“

查看更多 →

概述 盘古大模型整合华为云强大的计算和数据资源，将先进的AI算法集成在预训练大模型中，打造出具有深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型（NLP大模型、科学计算大模型）在ModelArts Studio大模型开发平台部署后，可以通过API调用推理接口。

查看更多 →

调用盘古NLP大模型API实现文本对话前，请确保您已完成NLP大模型的部署操作，详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 操作流程 登录ModelArts Studio大模型开发平台，进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发

查看更多 →

查看科学计算大模型训练状态与指标 查看模型训练状态 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 表1 训练状态说明 训练状态 训练状态含义 已发布 模型已经训练完成并进行发布，用户可以使用模型进行部署、推理操作。

查看更多 →

科学计算大模型训练流程与选择建议 科学计算大模型训练流程介绍 科学计算大模型主要用于。 科学计算大模型的训练主要分为两个阶段：预训练与微调。 预训练阶段：预训练是模型学习基础知识的过程，基于大规模通用数据集进行。例如，在区域海洋要素预测中，可以重新定义深海变量、海表变量，调整深度

查看更多 →

盘古大模型是否可以自定义人设 大模型支持设置人设，在用户调用对话问答（chat/completions）API时，可以将“role”参数设置为system，让模型按预设的人设风格回答问题。例如，以下示例要求模型以幼儿园老师的风格回答问题。 { "messages": [

查看更多 →

使用“能力调测”调用科学计算大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前，需完成模型的部署操作，详见创建科学计算大模型部署任务。 科学计算大模型支持全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球海洋生态、全球海

查看更多 →

方案验收，移交相关交付文档。 服务交付件 云存储AI大模型性能诊断与优化服务 服务规格 交付件 验收报告 SFS Turbo AI大模型性能诊断与优化服务基础包 《华为云AI大模型存储方案规划设计书》 《xx项目云存储优化与提升服务验收报告》 SFS Turbo AI大模型性能诊断与优化服务增量包 云存储性能诊断与优化服务

查看更多 →

如何评估微调后的盘古大模型是否正常 评估模型效果的方法有很多，通常可以从以下几个方面来评估模型训练效果： Loss曲线：通过Loss曲线的变化趋势来评估训练效果，确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测

查看更多 →

MaaS大模型即服务平台功能介绍 对于普通企业来说，大模型开发不仅需要强大的算力，还需要学习训练、部署的相关参数配置和规格选择等专业知识。ModelArts Studio大模型即服务平台（后续简称为MaaS服务）作为一个面向客户的大模型服务化平台，提供简单易用的模型开发工具链，支

查看更多 →

如何判断盘古大模型训练状态是否正常 判断训练状态是否正常，通常可以通过观察训练过程中Loss（损失函数值）的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标，正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线，来观察其变化

查看更多 →

通过Function Calling扩展大语言模型交互能力 Function Calling介绍 在Dify中配置支持Function Calling的模型使用 通过Function Calling扩展大语言模型对外部环境的理解

查看更多 →

使用云存储优化与提升服务获得的最终交付件是什么？ 购买云存储AI大模型性能诊断与优化服务-SFS Turbo AI大模型性能诊断与优化服务基础包/增量包会获得交付件《华为云AI大模型存储方案规划设计书》，含对企业业务系统的调研结果、存储性能诊断，资源配置建议和详细的配置指南。 购

查看更多 →