主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906） 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906） 主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.905） 主流开源大模型基于DevServer适配PyTorch

查看更多 →

智驾模型服务 智驾模型简介 多模态检索 模型微调 场景识别 2D图像生成 2D预标注 3D预标注 3D预标注车道线检测 服务监控 智驾模型管理

查看更多 →

智驾模型简介 通过与AI模型、大模型的结合，提供高精度自动标注能力，大幅度降低传统人工标注数据真值的成本。提供场景数据集生成能力，帮助自动驾驶模型训练快速扩充数据集，低成本获取难例数据集。提供多模态场景理解和检索能力，帮助客户在海量样本库快速、智能的分类和检索。 前提条件 开通相

查看更多 →

Studio、管理平台和多模态AI技能，供用户在云侧选购或开发技能，用户可以安装技能到端侧设备HiLens Kit和Atlas 500，使设备具备AI能力。 图1 基础版HiLens架构 基础版HiLens管理控制台 提供模型管理、技能开发等功能，供用户在云侧管理模型和技能，一键安装技能到端侧设备。

查看更多 →

设置AstroZero标准页面模态框组件 模态框作为一个模态对话框的容器，支持向模态框中拖入各种组件，用于在模态框弹出时，用户必须先响应模态框后，才能对其他对象进行操作的场景。 模态对话框功能：当一个模态对话框弹出时，用户想要对模态框以外的应用程序进行操作时，必须先对该对话框进行

查看更多 →

ModelArts平台是否支持多模型导入 ModelArts平台从 对象存储服务 （OBS）中导入模型包适用于单模型场景。如果有多模型复合场景，推荐使用 自定义镜像 方式，通过从容器镜像（SWR）中选择元模型的方式创建AI应用部署服务。制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。

查看更多 →

“微调”。模型选择完成后，参考表1完成训练参数设置。 表1 NLP大模型微调参数说明 参数分类 训练参数 参数说明 训练配置 模型来源 选择“盘古大模型” 模型类型 选择“NLP大模型”。 训练类型 选择“微调”。 训练目标 全量微调：在模型有监督微调过程中，对大模型的全部参数进

查看更多 →

管理NLP大模型训练任务 在训练任务列表中，任务创建者可以对创建好的任务进行编辑、启动、克隆（复制训练任务）、重试（重新训练任务）和删除操作。 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型训练”，进入模型训练页面，可进行如下操作：

查看更多 →

开发盘古大模型提示词工程 什么是提示词工程 获取提示词模板 撰写提示词 横向比较提示词效果 批量评估提示词效果 发布提示词

查看更多 →

发布训练后的NLP大模型 NLP大模型训练完成后，需要执行发布操作，操作步骤如下： 在模型训练列表页面选择训练完成的任务，单击训练任务名称进去详情页。 在“训练结果”页面，单击“发布”。 图1 训练结果页面 填写资产名称、描述，选择对应的可见性，单击“确定”发布模型。 发布后的模型会作为资产同步显示在“空间资产

查看更多 →

为什么微调后的盘古大模型的回答中会出现乱码 为什么微调后的盘古大模型的回答会异常中断 为什么微调后的盘古大模型只能回答训练样本中的问题 为什么在微调后的盘古大模型中输入训练样本问题，回答完全不同 为什么微调后的盘古大模型评估结果很好，但实际场景表现很差 为什么多轮问答场景的盘古大模型微调效果不好

查看更多 →

8大特色压测模型简介 性能测试服务沉淀了30年高并发测试工程方案与实践，提供了浪涌（突发流量）、智能摸高（系统性能摸底）、震荡（模拟高低峰）、TPS模式（压力自定义）等8大模式，快速构建真实场景，助力产品压测场景覆盖率提升50%，满足客户全场景的压测诉求。 压力测试支持的8种模式如下：

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启。 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910）

查看更多 →

el.py中的main函数，保存模型时将safe_serialization指定为False int8_model.save_pretrained(output_path,safe_serialization=False) 父主题： 主流开源大模型基于Standard适配PyTorch

查看更多 →

--max-model-len的值。 config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3

查看更多 →

使用API调用科学计算大模型 使用API调用科学计算大模型步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 单击左侧“模型开发 > 模型部署”。 若调用已部署的模型，单击状态为“运行中”的模型名称，在“详情”页签，可获取API的URL。 图1 获取已部署模型的调用路径

查看更多 →

查看NLP大模型部署任务详情 部署任务创建成功后，可以在“模型开发 > 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时，表示模型已成功部署，可以进行调用。 此过程可能需要较长时间，请耐心等待。在此过程中，可单击模型名称可进入详情页，查看模

查看更多 →

盘古NLP大模型能力与规格 盘古NLP大模型是业界首个超千亿参数的中文预训练大模型，结合了大数据预训练和多源知识，借助持续学习不断吸收海量文本数据，持续提升模型性能。除了实现行业知识检索、文案生成、阅读理解等基础功能外，盘古NLP大模型还具备模型调用等高级特性，可在智能客服、创意

查看更多 →

--max-model-len的值。 config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3

查看更多 →

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →