中软国际数据治理专业服务解决方案实践

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →

el.py中的main函数，保存模型时将safe_serialization指定为False int8_model.save_pretrained(output_path,safe_serialization=False) 父主题： 主流开源大模型基于Lite Cluster适配PyTorch

查看更多 →

--max-model-len的值。 config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3

查看更多 →

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →

盘古NLP大模型能力与规格 盘古NLP大模型是业界首个超千亿参数的中文预训练大模型，结合了大数据预训练和多源知识，借助持续学习不断吸收海量文本数据，持续提升模型性能。除了实现行业知识检索、文案生成、阅读理解等基础功能外，盘古NLP大模型还具备模型调用等高级特性，可在智能客服、创意

查看更多 →

查看NLP大模型部署任务详情 部署任务创建成功后，可以查看大模型部署任务详情，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，完成创建NLP大模型部署任务后，可以查看模型的部署状态。

查看更多 →

使用API调用科学计算大模型 预置模型或训练后的模型部署成功后，可以使用API调用科学计算大模型。 获取调用路径 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 获取调用路径。 在左侧导航栏中选择“模型开发 > 模型部署”。 获取已部署模型的调用路径

查看更多 →

查看NLP大模型评测报告 评测任务创建成功后，可以查看大模型评测任务报告，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型评测”。 单击操作列“评测报告”，在“评测报告”页面，可以查看评测任务的基本信息及评测概览。

查看更多 →

创建CV大模型训练任务 创建CV大模型微调任务 创建CV大模型微调任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，单击右上角“创建训练任务”。 在“创建训练任务”页面，参考表1完成训练参数设置。

查看更多 →

查看预测大模型部署任务详情 部署任务创建成功后，可以查看大模型部署的任务详情，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，完成创建预测大模型部署任务后，可以查看模型的部署状态。

查看更多 →

定领域的数据时表现得更好，而另一些模型则可能在更广泛的任务上更为出色。 根据盘古大模型特点调整提示词。 直接使用在其他大模型上有效的提示词，可能无法在盘古大模型上获得相同的效果。为了充分发挥盘古大模型的潜力，建议根据盘古大模型的特点，单独调整提示词。直接使用在其他大模型上有效的提

查看更多 →

el.py中的main函数，保存模型时将safe_serialization指定为False int8_model.save_pretrained(output_path,safe_serialization=False) 父主题： 主流开源大模型基于Server适配PyTorch

查看更多 →

盘古预测大模型能力与规格 盘古预测大模型是面向结构化数据，通过任务理解、模型推荐、模型融合技术，构建通用的预测能力。 ModelArts Studio大模型开发平台为用户提供了多种规格的预测大模型，以满足不同场景和需求。以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。

查看更多 →

科学计算大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。 场景 选择模型场景，分为“全球中期天气要素预测”、“全球中期降水预测”、“全球中期海洋智能预测”、“区域中期海洋智能预测”、“全球中期海洋生态智能预测”、“全球中期海浪智能预测”。

查看更多 →

创建预测大模型训练任务 创建预测大模型微调任务 创建预测大模型微调任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，单击右上角“创建训练任务”。 在“创建训练任务”页面，参考表1完成训练参数设置。

查看更多 →

同用户/用户组如果对应多个密级，则以最高密级为准进行密级权限管控。 创建敏感数据管控策略 在 DataArts Studio 控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“敏感数据管控”，进入敏感数据管控页面。 敏感数据管控页面的策略列表中，已有数据安全预置的默认策略，该策略默认给所有用户最大的密级访问权限。

查看更多 →

束，立即删除租户数据。 具备内容合规风控机制，支持对用户输入、模型输出内容进行内容合规风险检测，自动识别政治敏感、社会歧视等18类合规风险，提供健康的模型服务；同时CodeArts Snap生成的内容只是建议内容，需要用户对内容进行审核。 模型安全运维与运营 外部请求和系统操作记

查看更多 →

8大特色压测模型简介 性能测试服务沉淀了30年高并发测试工程方案与实践，提供了浪涌（突发流量）、智能摸高（系统性能摸底）、震荡（模拟高低峰）、TPS模式（压力自定义）等8大模式，快速构建真实场景，助力产品压测场景覆盖率提升50%，满足客户全场景的压测诉求。 压力测试支持的8种模式如下：

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启。 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）

查看更多 →

self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910）

查看更多 →

盘古CV大模型能力与规格 盘古CV大模型基于海量图像、视频数据和盘古独特技术构筑的视觉基础模型，赋能行业客户利用少量场景数据对模型微调即可实现特定场景任务。 ModelArts Studio大模型开发平台为用户提供了多种规格的CV大模型，以满足不同场景和需求。以下是当前支持的模型清单

查看更多 →