算法的白盒化评测。 图4 算法配置 选择评测项配置 可选择“内置评测配置”和“自定义评测镜像”。如果使用自定义评测，请选择在“评测管理”服务中创建成功的内置评测配置或自定义评测镜像。 测试结果通过标准 可自定义测试结果通过标准的分数。区间为0-100分。 图5 评测项配置 选择场景，支持场景库、测试套件、逻辑场景。

查看更多 →

行统一管理，平台设置了镜像仓库管理。 创建镜像仓库 仿真服务 算法管理 在创建任务前，需要创建算法，用户可从本地上传容器镜像。 创建仿真算法 评测管理 支持内置评测配置和自定义评测镜像，对仿真任务中的算法展开评测。 创建评测 场景管理 创建仿真场景，仿真场景库、测试套件、测试用例和逻辑泛化场景用于仿真开发。

查看更多 →

定。 弹性云服务器 ：弹性 云服务器 提供多种计费模式、规格类型、镜像类型、磁盘类型，针对不同的业务场景，自定义配置弹性云 服务器 。 云耀云服务器与弹性云服务器的购买和配置区别 表1 云耀云服务器与弹性云服务器的购买和配置区别 产品优势 特点 云耀云服务器 HE CS 弹性云服务器 ECS

查看更多 →

C类均匀权重评分（Average）方案 当用户选择该评分方案时，就不需要设置评测指标的重要度，各个指标按均匀权重进行扣分。 C类均匀权重评分原则（Principle） 各指标得分权重相同。 C类均匀权重评测分数计算实现（Equation） 此方案下总分为100分，在计算得分时不考虑

查看更多 →

模型推理文件 如果用户需要使用内置评测指标集，需要按照以下规范提供模型推理的启动脚本，具体参考下面文件实例。如果不使用内置评测模板，可跳过此节。 仅当使用内置评测模板时需要按此要求配置模型推理文件。如果使用自定义评测脚本评测时，仅需提供模型即可，具体目录结构由用户自行决定。 模型推理启动文件实例

查看更多 →

景数据。如果清空里面的有效场景或用例，会导致任务运行失败。 不支持修改任务配置和评测的关联关系，但是评测自身属性，可以在评测管理页面进行调整。再次启动任务时，将使用新的评测方式。 父主题： 仿真服务常见问题

查看更多 →

任务队列 评测任务在创建之后，可在此查看任务队列，同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“任务队列”页签，可查看任务。 图1 任务队列 评测任务队列相关操作 在“任务队列”页签，还可以进行以下操作。 表1 评测任务队列相关操作 任务 操作步骤

查看更多 →

service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理服务后的服务预测地址，示例：http://

查看更多 →

数据处理 标注服务 训练服务 仿真服务 智驾模型服务 镜像仓库 运维配置 工作空间 功能架构 自动驾驶云服务（Octopus）是一个一站式的开发平台，能够支撑开发者从数据收集到仿真应用的全流程开发过程。整体由数据资产、数据服务、标注服务、训练服务、仿真服务、智驾模型服务、公共配置管理组成。

查看更多 →

一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下（xxx替换为实际路径）： # 载入基础镜像，训练或评测引擎一般需包含cu

查看更多 →

service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理服务后的服务预测地址，示例：http://

查看更多 →

图1 重置密码 通过本地RDP远程连接到弹性云服务器（host填写弹性云服务器绑定的弹性公网IP），登录弹性云服务器并开始管理自己的跨境电商店铺。 图2 远程连接 进入云服务器，可以看到跨境卫士VPS版浏览器。 图3 跨境卫士VPS版浏览器 登录或者注册账号，参照跨境卫士帮助中心使用。

查看更多 →

与其他服务的关系 统一身份认证服务 Octopus使用统一身份认证服务（Identity and Access Management，简称IAM）实现认证功能。IAM的更多信息请参见《统一身份认证服务用户指南》。 对象存储服务 Octopus服务使用对象存储服务（Object Storage

查看更多 →

├──llm_evaluation #推理评测代码包 ├──benchmark_eval # 精度评测 ├── config ├── config.json # 请求的参数，根据实际启动的服务来调整

查看更多 →

默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：qwen-14b-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：服务接口地址，若服务部署在notebook中，该地址为"http://127

查看更多 →

} \ bash -x opencompass.sh 参数说明: vllm_path：构造vllm评测配置脚本名字，默认为vllm。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、ceval等判别式回答时，

查看更多 →

} \ bash -x opencompass.sh 参数说明: vllm_path：构造vllm评测配置脚本名字，默认为vllm。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、ceval等判别式回答时，

查看更多 →

支持 云审计 的关键操作 通过云审计服务，您可以记录与Octopus相关的操作事件，便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 支持审计的关键操作列表 表1 云审计服务支持的公共服务关键操作列表 操作名称 资源类型 事件名称 新增纳管集群 octopus addCluster

查看更多 →

简介 评测算法从驾驶安全性，智能性，合规性，舒适性等维度对自动驾驶系统进行全面评价。评测指标的pass/fail标准比较复杂，需要对一些评测函数的细节进行介绍。 point_type：是一个PointType的枚举类型，表示该子类指标发生特殊状态（一般是指发生异常）时的时刻点用哪

查看更多 →

模型数据集支持 模型评测支持多种数据集格式，包括Octopus格式和部分常见开源数据集格式，以下为各类别模型的数据集支持列表和示例。 目标检测2D 目标检测3D 目标追踪2D 目标追踪3D 语义分割2D 语义分割3D 车道线检测 父主题： 模型评测

查看更多 →

仿真服务 仿真服务简介 在线仿真 算法管理 评测管理 场景管理 并行仿真 Open SCENARIO2.0场景说明 采样方式介绍

查看更多 →