任务队列 评测任务在创建之后，可在此查看任务队列，同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“任务队列”页签，可查看任务。 图1 任务队列 评测任务队列相关操作 在“任务队列”页签，还可以进行以下操作。 表1 评测任务队列相关操作 任务 操作步骤

查看更多 →

保存等操作。 算法管理：用于对接客户的上云算法，并支持算法的版本级管理，并可自动化触发关联的批量算法。 评测管理：支持内置评测配置和自定义评测镜像，对仿真任务中的算法展开评测。 场景管理：包含场景、场景库、逻辑场景、逻辑场景库、测试用例、测试套件等。支持页面上传、泛化、在线仿真编

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理

查看更多 →

一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下（xxx替换为实际路径）： # 载入基础镜像，训练或评测引擎一般需包含cu

查看更多 →

├──llm_tools #推理工具包 ├──llm_evaluation #推理评测代码包 ├──benchmark_eval # 精度评测 ├── config ├── config.json

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：qwen-14b-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：服务接口地址，若服务

查看更多 →

定。 弹性云服务器 ：弹性 云服务器 提供多种计费模式、规格类型、镜像类型、磁盘类型，针对不同的业务场景，自定义配置弹性云 服务器 。 云耀云服务器与弹性云服务器的购买和配置区别 表1 云耀云服务器与弹性云服务器的购买和配置区别 产品优势 特点 云耀云服务器 HE CS 弹性云服务器 ECS

查看更多 →

仿真服务快速入门 流程指引 步骤一：创建镜像仓库 步骤二：创建仿真算法 步骤三：创建评测 步骤四：创建仿真场景 步骤五：创建仿真任务 步骤六：查看仿真评测结果

查看更多 →

可量测的、不具备实景纹理信息的连续三角面片模型。为AR应用提供虚实遮挡，为摆放虚拟物体提供位置参照。 点云 点云是目标场景表面特性的点集合，包括三维坐标（XYZ）和颜色信息（RGB），可用于场景的可视化和白模构建。 视觉定位（VPS） 视觉定位（VPS）是根据图像确定设备位置的一项技术。 通过拍摄一系列具

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如c

查看更多 →

├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本 精度评测切换conda环境，确保之前启动服务为vllm接口，进入

查看更多 →

├──build.sh # 安装量化模块的脚本 ├──llm_evaluation # 推理评测代码包 ├──benchmark_tools #性能评测 ├── benchmark.py # 可以基于默认的参数跑完静态benchmark和动态benchmark

查看更多 →

├──build.sh # 安装量化模块的脚本 ├──llm_evaluation # 推理评测代码包 ├──benchmark_tools #性能评测 ├── benchmark.py # 可以基于默认的参数跑完静态benchmark和动态benchmark

查看更多 →

├──build.sh # 安装量化模块的脚本 ├──llm_evaluation # 推理评测代码包 ├──benchmark_tools #性能评测 ├── benchmark.py # 可以基于默认的参数跑完静态benchmark和动态benchmark

查看更多 →

Octopus模型管理模块，支持用户上传模型，并将其用于模型评测、模型编译任务。如果需要将模型用于内置评测模板评测，除模型文件外，需另外包含推理启动文件： customer_inference.py 仅当需要使用内置评测指标计算时需要添加推理启动文件，文件名称可自定义，将该文件置于模型目录下。

查看更多 →

标注任务日志和审核报告存储在OBS中。 训练服务 算法管理 算法文件存储在OBS中。 训练任务 训练产物、训练任务日志存储在OBS中。 模型评测 评测脚本文件、评测产物、评测任务日志存储在OBS中。 编译管理 编译产物、编译任务日志存储在OBS中。 仿真服务 场景管理 场景文件存储在OBS中。 逻辑场景管理

查看更多 →

评分方案介绍 Octopus评测指标共有30多项大类指标，当规控算法未通过某些评测指标后，评测分数应能反映算法的性能表现。 本设计根据指标的重要程度将其分为三大类： 主要指标（以下简称A类）。 次要指标（以下简称B类）。 未定义重要度指标（以下简称C类）。 本设计提供如下三种内置的评分方案：

查看更多 →

侧向加速度的阈值设置为2.3 ，具体参考《i-vista评测规程》第5页最后一段。 该指标关联的内置可视化时间序列数据为：accY。 该指标的异常时间点记录类型为：POINT_TYPE_POINT。 父主题： 内置评测指标说明

查看更多 →

选择左侧的数据，右侧将高亮显示对应的数据，内置评测信号参数请参考内置评测信号参数。 图5 评测信号 可根据需要添加数据和框图，也可根据需要选择框图的横向和纵向布局。 单击可删除不需要的框图和数据。单击“清空数据”，可清空页面上所有的数据。 内置评测信号参数 表1 内置评测信号参数 内置评测信号参数 对应中文

查看更多 →

了仿真器在整个仿真过程中的数据，用户可以利用该仿真pb进行数据分析。 评测pb下载：任务运行成功后，用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果，支持用户自定义评测指标输出为Octopus的评测pb格式，从而在前端进行展示。 算法pb下载：任务运行成功后，用户可以

查看更多 →

vpsFloor Integer 参数解释： 楼层信息，表示服务所在的楼层编号。 取值范围： 不涉及。 VpsCode Integer 参数解释： 状态码，用于表示服务的状态或结果。 取值范围： 0：成功。 1：无法提供服务。 2：相机位姿错误。 3：低置信度。 4：GPS位置错误。

查看更多 →