工业感知AI模型库 工业AI感知库的建设目标是利用3C电子检测设备的运行所累积的资料，建立人工智能的智能模型库，利用人工智能模型训练，不断地进行迭代，最后将其应用到3C的电子测试中，以提高整个3C相关产品的测试性能。 工业AI感知库采用了标准的体系结构，实现了多模式的串行整合，并实现了云计算的迅速发行。

查看更多 →

托管模型到AI Gallery AI Gallery上每个资产的文件都会存储在线上的AI Gallery存储库（简称AI Gallery仓库）里面。每一个模型实例视作一个资产仓库，模型实例与资产仓库之间是一一对应的关系。例如，模型名称为“Test”，则AI Gallery仓库有个

查看更多 →

将用户添加至创建用户组步骤中创建的用户组，单击“创建用户”，完成IAM用户的创建。 图8 加入用户组 添加盘古子用户至工作空间 在添加盘古子用户至工作空间前，请先完成创建盘古子用户。 登录ModelArts Studio大模型开发平台。 进入需要添加子用户的空间，在空间内单击左侧导航栏“空间管理”，并进入“成员管理”页签。

查看更多 →

，启动模型部署。 表1 科学计算大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。 场景 选择模型场景，分为“全球天气要素预测”、“全球中期降水预测”、“全球中期海洋智能预测”、“区域中期海洋智能预测”、

查看更多 →

集格式转换。 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。 父主题： 使用数据工程准备与处理数据集

查看更多 →

上线加工后的气象类数据集 加工后的气象类数据集需要执行上线操作，用于后续的数据发布操作，具体步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”，在数据集操作列单击“上线”，执行上线操作。

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909）

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）

查看更多 →

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →

--max-model-len的值。 config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3

查看更多 →

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →

使用API调用科学计算大模型 使用API调用科学计算大模型步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 单击左侧“模型开发 > 模型部署”。 若调用已部署的模型，单击状态为“运行中”的模型名称，在“详情”页签，可获取API的URL。 图1 获取已部署模型的调用路径

查看更多 →

查看NLP大模型部署任务详情 部署任务创建成功后，可以在“模型开发 > 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时，表示模型已成功部署，可以进行调用。 此过程可能需要较长时间，请耐心等待。在此过程中，可单击模型名称可进入详情页，查看模

查看更多 →

准备工作 申请试用盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间

查看更多 →

可选非流式、流式。二者区别如下： 非流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，大语言模型完整生成回答后一次性返回。 流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，逐个字词的快速返回模式，不需等待大语言模型生成完成。 输出最大token数 简称

查看更多 →

NLP模型-云底座：通过华为云提供的盘古nlp大模型访问方式。 NLP模型-昇腾云：通过昇腾云的MAAS服务提供的nlp大模型访问方式。如果选择此模型进行问答，建议设置模型生成最大新词数不超过512。 NLP模型-裸机：通过裸机部署提供的盘古nlp大模型访问方式。 搜索Embedding模型：搜索向量化模型，支持将文本转化成向量。

查看更多 →

“微调”。模型选择完成后，参考表1完成训练参数设置。 表1 NLP大模型微调参数说明 参数分类 训练参数 参数说明 训练配置 模型来源 选择“盘古大模型” 模型类型 选择“NLP大模型”。 训练类型 选择“微调”。 训练目标 全量微调：在模型有监督微调过程中，对大模型的全部参数进

查看更多 →

为什么微调后的盘古大模型评估结果很好，但实际场景表现很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场

查看更多 →

提示工程是一项将知识、技巧和直觉结合的工作，需要通过不断实践实现模型输出效果的提升。提示词和模型之间存在着密切关系，本指南结合了大模型通用的提示工程技巧以及盘古大模型的调优实践经验，总结的一些技巧和方法更为适合基于盘古大模型的提示工程。 本文的方法论及技巧部分使用了较为简单的任务作为

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启。 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910）

查看更多 →