max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理

查看更多 →

回放等功能。 算法管理：用于对接客户的上云算法，并支持算法的版本级管理，并可自动化触发关联的批量算法。 评测管理：支持内置评测配置和自定义评测镜像，对仿真任务中的算法展开评测。 场景管理：包含场景、场景库、逻辑场景、逻辑场景库、测试用例、测试套件等。支持页面上传、路测数据生成、泛

查看更多 →

一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下（xxx替换为实际路径）： # 载入基础镜像，训练或评测引擎一般需包含cu

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理

查看更多 →

，需要单独物理口接入可访问互联网网段。 方案特点：需要额外连一根网线上网，并配置该物理接口的“工作模式”为“路由”模式。云端管理口和业务上行口不共用一个物理接口。 图2 单独物理网口上网 更多其他部署场景，比如天关旁挂，或者您的企业内部存在NAT转换/DNS 服务器 ，请参见《典型配置案例》完成天关部署和上线配置。

查看更多 →

├──llm_tools #推理工具包 ├──llm_evaluation #推理评测代码包 ├──benchmark_eval # 精度评测 ├── config ├── config.json

查看更多 →

简介 评测算法从驾驶安全性，智能性，合规性，舒适性等维度对自动驾驶系统进行全面评价。评测指标的pass/fail标准比较复杂，需要对一些评测函数的细节进行介绍。 point_type：是一个PointType的枚举类型，表示该子类指标发生特殊状态（一般是指发生异常）时的时刻点用哪

查看更多 →

，需要单独物理口接入可访问互联网网段。 方案特点：需要额外连一根网线上网，并配置该物理接口的“工作模式”为“路由”模式。云端管理口和业务上行口不共用一个物理接口。 图2 单独物理网口上网 更多其他部署场景，比如天关旁挂，或者您的企业内部存在NAT转换/DNS服务器，请参见《典型配置案例》完成天关部署和上线配置。

查看更多 →

裸机网络出现问题时，如何排查？ 裸机内网口是否组bond。 ifconfig 图1 检查裸机内网口是否组bond 正常裸机在操作系统里会对网口进行组bond操作，如果裸机内执行ifconfig命令没有看到bond接口，说明组bond失败。请联系技术支持人员。 裸机内路由信息是否正确。

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：qwen-14b-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：服务接口地址，若服务

查看更多 →

用网线连接管理PC的网口和设备管理网口，并给天关连接电源上电。 请耐心等待，当前面板上的SYS指示灯每两秒闪一次，表明设备已进入正常运行状态，可以登录设备进行配置。 图1 PC连接天关管理口 配置管理PC的网口IP地址（以Windows 10为例），使其能够与设备的管理口（默认地址为192

查看更多 →

Server系列）。 查看方式 自定义VLAN网络是通过裸金属服务器的规格呈现给用户的，如图1所示。 图1 裸金属服务器规格 该规格的机型提供1块双网口的10GE网卡接入VPC网络，1块双网口的10GE扩展网卡支持裸金属服务器间的高速互联，租户可以根据业务需要在扩展网卡上自由配置VLAN网络。

查看更多 →

仿真服务快速入门 流程指引 步骤一：创建镜像仓库 步骤二：创建仿真算法 步骤三：创建评测 步骤四：创建仿真场景 步骤五：创建仿真任务 步骤六：查看仿真评测结果

查看更多 →

downloadAlgorithmMeta 创建评测镜像 octopus createSimEvaluationImages 更新评测镜像 octopus updateSimEvaluationImages 删除评测镜像 octopus deleteSimEvaluationImages 创建评测 octopus

查看更多 →

模型数据集支持 模型评测支持多种数据集格式，包括Octopus格式和部分常见开源数据集格式，以下为各类别模型的数据集支持列表和示例。 目标检测2D 目标检测3D 目标追踪2D 目标追踪3D 语义分割2D 语义分割3D 车道线检测 父主题： 模型评测

查看更多 →

用网线连接管理PC的网口和设备管理网口，并给天关连接电源上电。 请耐心等待，当前面板上的SYS指示灯每两秒闪一次，表明设备已进入正常运行状态，可以登录设备进行配置。 图1 PC连接天关管理口 配置管理PC的网口IP地址（以Windows 10为例），使其能够与设备的管理口（默认地址为192

查看更多 →

lityId":"ChatbotSA","version":"+g.gsma.rcs.botversion=\"#=1\""},{"capabilityId":"ChatbotSA222","version":"+g.gsma.rcs.botversion=\"#=1\""}]}}

查看更多 →

边缘节点安装部署 图1 服务器操作步骤 注意事项： 需制作系统盘raid及数据盘raid初始化，建议都组RAID1。如果硬盘＞2TB，须设置gpt模式； 需接入BMC管理口，业务口组team之后ping www.huaweicloud.com 测试DNS； 安装docker请参考

查看更多 →

地址如何修改 服务器开机后可以使用BMC口的WEB或者LAN1口ssh服务去登录系统修改IP地址及管理业务，下面以ssh登录服务器为例子，远程工具推荐使用Mobaxterm22.0 图1 Mobaxterm 打开Mobaxterm，点击会话-选择ssh-填入服务器IP- 勾选指定用户名-输入用户名d1-点击好的

查看更多 →

可使用自研仿真算法，根据Octopus自研仿真评测体系，从行车安全、驾驶行为、乘员舒适性等多维度测评在多种条件下的仿真场景中控制算法控制质量。在仿真任务模块，可将仿真任务运行中关键指标变化绘制成图表，直观形象，也可在仿真任务结束后评测报告可下载至本地查看。 任务配置 仿真任务 3D回放

查看更多 →

期望的预警次数； 默认期望的预警次数为-1，此时只要该预警功能激活至少一次，则评测项通过；当设置期望的预警次数为正数或0时（0代表期望预警功能不被激活），只有当预警功能激活次数和期望预警次数相同时，评测项才通过； 该指标仅对有算法pb的场景有效。当算法pb中未设置预警项，或预警项

查看更多 →