AI
AI
- 文字识别-发票识别与验真
- 内容审核-图片审核
- 人证核身解决方案
- 华为云D-Plan解决方案
- 语音识别-客服中心语音质检
- 语音识别-隐私通话内容分析
- 文字识别-网络货运解决方案
- 软通动力智能流程机器人
- AR现场作业解决方案实践
- 文字识别-快递电子面单识别
- 基于开源模型构建高可用AIGC应用
- 内容审核-视频审核
- 语义分析-情感分析
- 内容审核-音频审核
- 三电数据分析及预测
- 基于TTS快速实现文字转语音
- 基于GPT-SoVITS快速实现语音克隆
- 基于OBS+SFS Turbo实现AI云存储加速
- 汽车价值评估
- 基于关键词快速生成高清短视频
- 基于Geek-AI构建AI智能助手
- 基于PyTorch NPU快速部署开源大模型
- 快速搭建Dify-LLM应用开发平台
- 天宽昇腾云行业大模型适配服务解决方案
- 德勤AI场景化咨询与实施服务解决方案
- 快速搭建DeepSeek推理系统
- 快速搭建EvalScope模型性能评测平台
- 快速部署Embedding及Reranker模型
- 文档下载
- 通用参考
本文导读
展开导读
链接复制成功！
开始使用
该解决方案使用22端口CloudShell方式远程登录云服务器，默认已配置IP地址白名单，若需远程登录云服务器，可直接使用CLoudShell远程登录。
该解决方案部署成功后，环境初始化及应用安装预计10~20分钟不等，受网络、带宽影响，部署时间会有波动，部署完成方可正常使用。
安全组规则修改（可选）
安全组实际是网络流量访问策略，包括网络流量入方向规则和出方向规则，通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。
如果您的实例关联的安全组策略无法满足使用需求，比如需要添加、修改、删除某个TCP端口，请参考以下内容进行修改。
- 添加安全组规则：根据业务使用需求需要开放某个TCP端口，请参考添加安全组规则添加入方向规则，打开指定的TCP端口。
- 修改安全组规则：安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则，来修改安全组中不合理的规则，保证云服务器等实例的网络安全。
- 删除安全组规则：当安全组规则入方向、出方向源地址/目的地址有变化时，或者不需要开放某个端口时，您可以参考删除安全组规则进行安全组规则删除。
- 登录Flexus云服务器X实例控制台，选择部署EvalScope的服务器，单击远程登录。
图1 选择远程登录
- 选择使用CloudShell登录，在连接配置页面输入3.2步骤三中设置的“ecs_password”云服务器的密码，单击“连接”。
图2 选择CloudShell登录
图3 配置连接信息
- 在命令行输入并执行测试命令并等待结果即可。
以Ollama部署的deepseek-r1蒸馏模型为例，测评命令如下：
evalscope perf --url 'http://[部署模型的服务器ip地址]:11434/v1/chat/completions' \ #模型接口，替换ip地址即可 --parallel 10 \ #并发数 --model 'deepseek-r1:1.5b' \ #被评测的模型名称，例如deepseek-r1:1.5b --log-every-n-query 10 \ --read-timeout=1200 \ --stream \ --dataset-path '/root/data/open_qa.jsonl' \ #测试数据集，默认已添加，若不满足需求请自行添加并更换 -n 10 \ #问答场景数 --max-prompt-length 32000 \ --api openai \ --stop '<|im_end|>'\ --dataset openqa
更多参数详情见参数说明。
图4 执行命令
- 测评结束，打印结果。
图5 测评结果
父主题： 实施步骤
