了仿真器在整个仿真过程中的数据，用户可以利用该仿真pb进行数据分析。 评测pb下载：任务运行成功后，用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果，支持用户自定义评测指标输出为Octopus的评测pb格式，从而在前端进行展示。 算法pb下载：任务运行成功后，用户可以

查看更多 →

lityId":"ChatbotSA","version":"+g.gsma.rcs.botversion=\"#=1\""},{"capabilityId":"ChatbotSA222","version":"+g.gsma.rcs.botversion=\"#=1\""}]}}

查看更多 →

创建镜像仓库 仿真服务 算法管理 在创建任务前，需要创建算法，用户可从本地上传容器镜像。 创建仿真算法 评测管理 支持内置评测配置和自定义评测镜像，对仿真任务中的算法展开评测。 创建评测 场景管理 创建仿真场景，仿真场景库、测试套件、测试用例和逻辑泛化场景用于仿真开发。 创建仿真场景 任务管理

查看更多 →

原因2：浏览器设置了代理等特殊设置。 解决方法 使用PC ping网关管理口IP地址，看地址是否能正常访问。 如果IP地址不通，管理口IP可能被修改，请长按设备面板上的“RST”按钮（>5秒），恢复出厂配置。恢复后，管理口IP地址为192.168.0.1。 如果管理口IP能够ping通，则首先查看是否开启了代理，如开启将代理关闭后再尝试。

查看更多 →

全局配置 > 物理网络 传输网络和路由域除了选用系统缺省配置的MPLS、MPLS1、Internet、Internet1，增加Internet_5G传输网络。 图2 路由域和传输网络 配置IPSec加密参数，如图3所示。 图3 IPSec加密参数 设备激活安全配置，如图4所示。 参数取值请参考网络设计参数规划。

查看更多 →

AB类log函数评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性，因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。

查看更多 →

省VLAN。 上行口自动放行（仅交换机） 开启该开关后， 如果当前设备的上行口为Trunk口，会自动将管理VLAN加为允许通过的VLAN。 修改或清除管理VLAN后，如果当前设备的上行口为Trunk口，上行口中已允许通过VLAN中将保留原管理VLAN。 如上行口不再需要允许通过此

查看更多 →

解决方法 使用PC ping网关管理口IP地址，看地址是否能正常访问。 如果IP地址不通，管理口IP可能被修改。 请长时间按住RST按钮（>5秒），恢复出厂配置。 恢复后，管理口IP地址为192.168.0.1。 松开RST按钮。 如果管理口IP地址能够ping通，则查看是否开启了代理，如开启了代理将代理关闭后再试。

查看更多 →

任务队列 评测任务在创建之后，可在此查看任务队列，同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“任务队列”页签，可查看任务。 图1 任务队列 评测任务队列相关操作 在“任务队列”页签，还可以进行以下操作。 表1 评测任务队列相关操作 任务 操作步骤

查看更多 →

不参与评分。 AB类均匀权重评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性，因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。

查看更多 →

现算法的白盒化评测。 Datahub模式，目前暂不支持配合仿真器的帧同步模式。 图3 算法配置 评测项配置 用户可选择“内置评测配置”和“自定义评测镜像”，设置评测标准。 内置评测配置：请选择“评测管理”服务中创建成功的内置评测配置。 自定义评测镜像：请选择在“评测管理”服务中创

查看更多 →

保存等操作。 算法管理：用于对接客户的上云算法，并支持算法的版本级管理，并可自动化触发关联的批量算法。 评测管理：支持内置评测配置和自定义评测镜像，对仿真任务中的算法展开评测。 场景管理：包含场景、场景库、逻辑场景、逻辑场景库、测试用例、测试套件等。支持页面上传、泛化、在线仿真编

查看更多 →

<nvme设备名>命令采集。 网口状态信息 包含网口的MAC地址、链路状态、接收/发送端的丢包&错包计数。 使用ifconfig <网口名>命令采集。 网口设备信息 包含网口的端口类型、Link状态、速率。 使用ethtool <网口名>命令采集。 网口驱动信息 包含固件版本、驱动版本、总线号。

查看更多 →

├──vllm_api.py #启动vllm api 服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本 精度评测切换conda环境，确保之前启动服务为vllm接口，进入

查看更多 →

├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本 精度评测切换conda环境，确保之前启动服务为vllm接口，进入到

查看更多 →

├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本 精度评测切换conda环境，确保之前启动服务为vllm接口，进入

查看更多 →

downloadAlgorithmMeta 创建评测镜像 octopus createSimEvaluationImages 更新评测镜像 octopus updateSimEvaluationImages 删除评测镜像 octopus deleteSimEvaluationImages 创建评测 octopus

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理

查看更多 →

一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下（xxx替换为实际路径）： # 载入基础镜像，训练或评测引擎一般需包含cu

查看更多 →

├──llm_tools #推理工具包 ├──llm_evaluation #推理评测代码包 ├──benchmark_eval # 精度评测 ├── config ├── config.json

查看更多 →

模型数据集支持 模型评测支持多种数据集格式，包括Octopus格式和部分常见开源数据集格式，以下为各类别模型的数据集支持列表和示例。 目标检测2D 目标检测3D 目标追踪2D 目标追踪3D 语义分割2D 语义分割3D 车道线检测 分类 父主题： 模型评测

查看更多 →