方案概述

应用场景

该解决方案旨在帮助您快速搭建使用魔坊（ModelArts）模型训推平台在线推理的基础环境。项目利用按需计算资源，依次完成模型权重获取、镜像准备、部署脚本脚本配置。

适用于如下场景：

1. 智能客服：自动应答常见问题，处理退换货、物流查询，降低人工成本。
2. 内容创作：协助撰写邮件、报告、文案、稿件等，提供写作灵感。
3. 信息总结：快速提炼文档、会议记录、合同的核心要点，提升处理效率。
4. 代码开发：生成代码片段、解释逻辑、辅助排查错误。
5. 语言翻译：支持多语种互译，并润色译文使其更地道。
6. 教育培训：解释概念、解答疑问、生成练习题，提供个性化辅导。

方案架构

该解决方案的云服务器作为中转服务器，下载模型权重并上传至OBS，并下载推理镜像并推送至SWR。后续通过魔坊（ModelArts）模型训推平台部署推理服务。

图1 方案架构图

该解决方案将会部署如下资源：

• 创建一台Flexus云服务器X实例 ，用于模型权重同步、推理镜像拉取和推送至SWR。
• 创建一个弹性公网IP EIP，提供访问公网和被公网访问能力。
• 创建一个私有对象存储服务 OBS桶，用于保存模型权重和脚本。
• 创建一个容器镜像服务 SWR组织，用于保存推理镜像。

方案优势

• 一键部署，免人工干预

  一键轻松部署，快速完成华为云资源创建。部署完成后，即可直接获取模型部署所需的权重、镜像及启动脚本。

• OBS高速同步权重

  基于华为OBS高速传输自动拉取模型权重，相比手动上传显著提升同步效率，模型准备时间从小时级压缩至分钟级。

• 端到端自动化闭环

  覆盖模型上传、镜像准备到环境配置全流程，无需人工介入，无需精通底层技术。

约束与限制

• 支持Region：西南-贵阳一、华北-乌兰察布一。
• 该解决方案部署前，需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心，找到“待支付订单”并手动完成支付。