开始使用

该解决方案使用22端口CloudShell方式远程登录云服务器，默认已配置IP地址白名单，若需远程登录云服务器，可直接使用CLoudShell远程登录。

该解决方案部署成功后，环境初始化及应用安装预计10~20分钟不等，受网络、带宽影响，部署时间会有波动，部署完成方可正常使用。

安全组规则修改（可选）

安全组实际是网络流量访问策略，包括网络流量入方向规则和出方向规则，通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。

如果您的实例关联的安全组策略无法满足使用需求，比如需要添加、修改、删除某个TCP端口，请参考以下内容进行修改。

添加安全组规则：根据业务使用需求需要开放某个TCP端口，请参考添加安全组规则添加入方向规则，打开指定的TCP端口。
修改安全组规则：安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则，来修改安全组中不合理的规则，保证云服务器等实例的网络安全。
删除安全组规则：当安全组规则入方向、出方向源地址/目的地址有变化时，或者不需要开放某个端口时，您可以参考删除安全组规则进行安全组规则删除。

登录Flexus云服务器X实例控制台，选择部署EvalScope的服务器，单击远程登录。

图1 选择远程登录
选择使用CloudShell登录，在连接配置页面输入3.2步骤3中设置的“ecs_password”云服务器的密码，单击“连接”。

图2 选择CloudShell登录

图3 配置连接信息

在命令行输入并执行测试命令并等待结果即可。

以Ollama部署的deepseek-r1蒸馏模型为例，测评命令如下：

evalscope perf --url 'http://[部署模型的服务器ip地址]:11434/v1/chat/completions' \   #模型接口，替换ip地址即可
--parallel 10 \   #并发数
--model 'deepseek-r1:1.5b' \   #被评测的模型名称，例如deepseek-r1:1.5b
--log-every-n-query 10 \
--read-timeout=1200 \
--stream \
--dataset-path '/root/data/open_qa.jsonl' \   #测试数据集，默认已添加，若不满足需求请自行添加并更换
-n 10 \   #问答场景数
--max-prompt-length 32000 \
--api openai \
--stop '<|im_end|>'\
--dataset openqa