方案概述

应用场景

该解决方案基于魔坊（ModelArts）模型训推平台在ModelArts Lite DevServer裸金属服务器部署大语言模型。大语言模型常用于企业级智能客服、专业内容生成、代码辅助开发、企业内部知识库问答、科研教育辅助以及金融医疗法律等垂直行业的深度文本分析场景，能够充分满足高并发、低延迟、数据安全合规及模型个性化微调的需求。

方案架构

该解决方案是基于昇腾云ModelArts Lite DevServer裸金属服务器部署大语言模型。

图1 方案架构图

该解决方案将会部署如下资源：

• 在魔坊（ModelArts）模型训推平台创建一台昇腾云ModelArts Lite DevServer裸金属，用于部署大语言模型。
• 创建一个弹性公网IP EIP并关联ModelArts Lite DevServer裸金属服务器，提供访问公网和被公网访问能力。
• 创建一个安全组，通过配置安全组规则，为云服务器提供安全防护。

方案优势

• 速度快

  分钟级一键部署，将环境搭建周期从数小时压缩至分钟级，大幅提升交付效率

• 开箱即用

  部署完成即自动对外提供标准API服务，无需任何开发配置，开箱即调

• 易操作

  全过程封装为自动化脚本，仅需一条命令即可完成部署，极大降低操作门槛

约束与限制

• 已完成昇腾云裸金属（ModelArts Lite DevServer）机器下单，操作步骤参考轻量算力节点资源开通，请先在璇玑系统开通资源白名单后可联系技术SA支撑
• 机器规格：D910B 313T/376T
• 机器操作系统镜像：HCE2.0-Arm-64bit-for-Snt9A2-BareMetal-with-24.1.0.6-7.5.0.5.220-CANN8.0.1-v2
• 确保机器22端口安全组已开通
• 支持Region：西南贵阳一、乌兰察布一