方案概述

应用场景

该解决方案基于华为云Flexus云服务器X实例帮助您快速部署EvalScope模型性能评测应用。EvalScope 是一个开源模型评测与性能基准测试框架，专为多样化模型评估需求设计。它支持多种类型的模型评测，包括大语言模型（LLM）、多模态模型、Embedding 模型、Reranker 模型和 CLIP 模型等，适用于端到端 RAG 评测、竞技场模式、模型推理性能压测等多种评测场景。

方案架构

该解决方案帮助您在华为云Flexus云服务器X实例（弹性云服务器 ECS）上快速搭建EvalScope模型性能评测平台。

图1 方案架构图

该解决方案将会部署如下资源：

• 创建一个弹性公网IP EIP，用于提供访问公网和被公网访问能力。

• 创建一台Flexus云服务器X实例（弹性云服务器 ECS），用于搭建EvalScope模型性能评测平台。
• 创建一个安全组，通过配置安全组规则，为云服务器提供安全防护。

方案优势

• 功能完备

  EvalScope代码完全使用Python语言编写，具有轻量化的特点，提供了丰富的定制选项，用户可以根据自己的需求灵活配置评测任务，满足多样化的模型评估需求。

• 低成本

  提供高性价比的云服务器，用户可以根据实际需求自定义不同规格的云服务器。

• 一键部署

  一键轻松部署，即可快速完成云服务器和公网IP等资源的下发以及EvalScope模型性能评测平台的搭建。

约束与限制

• 该解决方案部署前，需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心，找到“待支付订单”并手动完成支付。