方案概述

应用场景

该解决方案基于华为云Flexus云服务器X实例帮助您快速部署EvalScope模型性能评测应用。EvalScope 是一个开源模型评测与性能基准测试框架，专为多样化模型评估需求设计。它支持多种类型的模型评测，包括大语言模型（LLM）、多模态模型、Embedding 模型、Reranker 模型和 CLIP 模型等，适用于端到端 RAG 评测、竞技场模式、模型推理性能压测等多种评测场景。

方案架构

该解决方案帮助您在华为云Flexus云服务器X实例（弹性云服务器 ECS）上快速搭建EvalScope模型性能评测平台。

图1 方案架构图

该解决方案将会部署如下资源：

• 创建一个虚拟私有云 VPC和子网，用于搭建云服务所需的网络基础。
• 创建一个弹性公网IP EIP，用于提供访问公网和被公网访问能力。

• 创建一台Flexus云服务器X实例（弹性云服务器 ECS），用于搭建EvalScope模型性能评测平台。
• 创建一个安全组，通过配置安全组规则，为云服务器提供安全防护。

方案优势

• 功能完备

  EvalScope代码完全使用Python语言编写，具有轻量化的特点，提供了丰富的定制选项，用户可以根据自己的需求灵活配置评测任务，满足多样化的模型评估需求。

• 低成本

  提供高性价比的云服务器，用户可以根据实际需求自定义不同规格的云服务器。

• 一键部署

  一键轻松部署，即可快速完成云服务器和公网IP等资源的下发以及EvalScope模型性能评测平台的搭建。

约束与限制

• 该解决方案部署前，需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心，找到“待支付订单”并手动完成支付。
• 本内容可能包含第三方开源软件、组件或框架的技术说明与配置示例，请您独立评估并自主决定是否使用，华为云不就第三方软件的功能、性能、安全性、兼容性或合规性作出任何保证。第三方软件知识产权归各自权利人所有，您应严格遵守适用的开源许可证条款（如 MIT、Apache 2.0、GPL 等），确保不侵犯任何第三方合法权益，并自行负责安全评估与漏洞管理。因您使用本方案提及的任何第三方软件产生的直接或间接损失（包括但不限于数据丢失、业务中断、安全事件、知识产权纠纷、合规处罚等），华为云及其关联方不承担任何责任。本方案对第三方软件的提及不构成认可或背书，亦不代表华为云与第三方权利人存在任何授权或合作关系。