方案概述

应用场景

该解决方案基于魔坊（ModelArts）模型训推平台在ModelArts Lite DevServer裸金属服务器部署大语言模型，为企业提供高性能、高安全、可定制的大模型服务，能够充分满足高并发、低延迟、数据安全合规等核心需求，助力企业快速落地AI应用。

适用于如下场景：

1、智能客服：自动应答常见问题，处理退换货、物流查询，降低人工成本。

2、内容创作：协助撰写邮件、报告、文案、稿件等，提供写作灵感。

3、信息总结：快速提炼文档、会议记录、合同的核心要点，提升处理效率。

4、代码开发：生成代码片段、解释逻辑、辅助排查错误。

5、语言翻译：支持多语种互译，并润色译文使其更地道。

6、教育培训：解释概念、解答疑问、生成练习题，提供个性化辅导。

方案架构

该解决方案是基于昇腾云ModelArts Lite DevServer裸金属服务器部署大语言模型。

图1 方案架构图

该解决方案将会部署如下资源：

• 在魔坊（ModelArts）模型训推平台创建一台昇腾云ModelArts Lite DevServer裸金属，用于部署大语言模型。
• 创建一个弹性公网IP EIP并关联ModelArts Lite DevServer裸金属服务器，提供访问公网和被公网访问能力。
• 创建一个安全组，通过配置安全组规则，为云服务器提供安全防护。

方案优势

• 速度快

  分钟级一键部署，将环境搭建周期从数小时压缩至分钟级，大幅提升交付效率

• 开箱即用

  部署完成即自动对外提供标准API服务，无需任何开发配置，开箱即调

• 易操作

  全过程封装为自动化脚本，仅需一条命令即可完成部署，极大降低操作门槛

约束与限制

• 已完成昇腾云裸金属（ModelArts Lite DevServer）机器下单，操作步骤参考轻量算力节点资源开通，请先在璇玑系统开通资源白名单后可联系技术SA支撑
• 机器规格：D910B 313T/376T
• 机器操作系统镜像：HCE2.0-Arm-64bit-for-Snt9A2-BareMetal-with-24.1.0.6-7.5.0.5.220-CANN8.0.1-v2
• 确保机器22端口安全组已开通
• 支持Region：西南贵阳一、乌兰察布一
• 版本说明和要求：本文档支持昇腾云6.5.908版本