max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理

查看更多 →

├──llm_tools #推理工具包 ├──llm_evaluation #推理评测代码包 ├──benchmark_eval # 精度评测 ├── config ├── config.json

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：qwen-14b-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：服务接口地址，若服务

查看更多 →

简介 评测算法从驾驶安全性，智能性，合规性，舒适性等维度对自动驾驶系统进行全面评价。评测指标的pass/fail标准比较复杂，需要对一些评测函数的细节进行介绍。 point_type：是一个PointType的枚举类型，表示该子类指标发生特殊状态（一般是指发生异常）时的时刻点用哪

查看更多 →

仿真服务快速入门 流程指引 步骤一：创建镜像仓库 步骤二：创建仿真算法 步骤三：创建评测 步骤四：创建仿真场景 步骤五：创建仿真任务 步骤六：查看仿真评测结果

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如ceval_gen、mmlu_gen

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如ceval_gen、mmlu_gen

查看更多 →

downloadAlgorithmMeta 创建评测镜像 octopus createSimEvaluationImages 更新评测镜像 octopus updateSimEvaluationImages 删除评测镜像 octopus deleteSimEvaluationImages 创建评测 octopus

查看更多 →

模型数据集支持 模型评测支持多种数据集格式，包括Octopus格式和部分常见开源数据集格式，以下为各类别模型的数据集支持列表和示例。 目标检测2D 目标检测3D 目标追踪2D 目标追踪3D 语义分割2D 语义分割3D 车道线检测 父主题： 模型评测

查看更多 →

什么是物联网咨询与规划服务？ 物联网是通过对物理世界的数据采集、传输、处理、存储、应用等，在智能穿戴、智能家居、智慧城市、智慧交通、工业制造等行业进行广泛使用。随着NB-IoT、4G、5G技术的发展，推动了物联网应用的成熟，企业利用物联网技术数字化转型的需求越来越大。但物联网涉及

查看更多 →

侧向加速度的阈值设置为2.3 , 具体参考《i-vista评测规程》第5页最后一段。 该指标关联的内置可视化时间序列数据为：accY。 该指标的异常时间点记录类型为：POINT_TYPE_POINT。 父主题： 内置评测指标说明

查看更多 →

标注任务日志和审核报告存储在OBS中。 训练服务 算法管理 算法文件存储在OBS中。 训练任务 训练产物、训练任务日志存储在OBS中。 模型评测 评测脚本文件、评测产物、评测任务日志存储在OBS中。 编译管理 编译产物、编译任务日志存储在OBS中。 仿真服务 场景管理 场景文件存储在OBS中。 逻辑场景管理

查看更多 →

可使用自研仿真算法，根据Octopus自研仿真评测体系，从行车安全、驾驶行为、乘员舒适性等多维度测评在多种条件下的仿真场景中控制算法控制质量。在仿真任务模块，可将仿真任务运行中关键指标变化绘制成图表，直观形象，也可在仿真任务结束后评测报告可下载至本地查看。 任务配置 仿真任务 3D回放

查看更多 →

期望的预警次数； 默认期望的预警次数为-1，此时只要该预警功能激活至少一次，则评测项通过；当设置期望的预警次数为正数或0时（0代表期望预警功能不被激活），只有当预警功能激活次数和期望预警次数相同时，评测项才通过； 该指标仅对有算法pb的场景有效。当算法pb中未设置预警项，或预警项

查看更多 →

不通过。 通行速率指标可有效避免主车一直不动，其他评测指标均通过，导致得分却很高的情况发生。 该指标关联的内置可视化时间序列数据为：speedX。 该指标的异常时间点记录类型为：POINT_TYPE_ALL。 父主题： 内置评测指标说明

查看更多 →

，也可以自定义算法。 训练算法 模型评测 在机器学习中，通常需要使用一定的方法和标准，来评测一个模型的预测精确度，用于衡量一个模型及其标注结果的可信度。自动驾驶领域的模型多用于目标检测，如识别并标注出图像中车辆、行人、可行区域等对象。 模型评测 编译镜像 编译镜像可以将训练模型转

查看更多 →

/SimCtrl>]]></SCP > </Action> ... </Scenario> 为了到达终点的评测，一般建议延迟5s执行，等待评测检测成功。此处对应前文中的DelayTime。 xosc类型场景，OpenSCENARIO 1.0版本如下： Read the

查看更多 →

在及少数的连续S型弯道情况下，可能会出现假阳性结果，这会在评测报告中进行体现。 该指标关联的内置可视化时间序列数据为：accY。 该指标的异常时间点记录类型为：POINT_TYPE_REGION。 父主题： 内置评测指标说明

查看更多 →

从科技创新的角度来看，家用机器人在许多方面都具有创新性。 它采用了简洁、时尚的外观设计，不仅美观大方，而且易于使用和操作。 它可以与智能家居设备进行连接，实现智能家居控制； 在引领科技潮流方面，家用机器人注重持续的技术更新和升级。 它将不断地推出新功能、新技术和新服务，以满足大家不断变化的需求。

查看更多 →

训练任务：用户选择训练算法和训练数据集创建训练任务进行训练。 模型评测：负责管理评测脚本、评测任务和评测对比任务。 编译管理：包含编译任务和编译镜像。训练产生的模型版本，往往不可直接被车载芯片识别，需要经过编译工具，模型编译成车载芯片识别的产物。 添加算法 创建训练任务 创建评测脚本 仿真服务 Octopus仿真

查看更多 →