一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下（xxx替换为实际路径）： # 载入基础镜像，训练或评测引擎一般需包含cu

查看更多 →

├──llm_evaluation #推理评测代码包 ├──benchmark_eval # 精度评测 ├── config ├── config.json # 请求的参数，根据实际启动的服务来调整

查看更多 →

与其他服务的关系 统一身份认证服务 Octopus使用统一身份认证服务（Identity and Access Management，简称IAM）实现认证功能。IAM的更多信息请参见《统一身份认证服务用户指南》。 对象存储服务 Octopus服务使用对象存储服务（Object Storage

查看更多 →

C类均匀权重评分（Average）方案 当用户选择该评分方案时，就不需要设置评测指标的重要度，各个指标按均匀权重进行扣分。 C类均匀权重评分原则（Principle） 各指标得分权重相同。 C类均匀权重评测分数计算实现（Equation） 此方案下总分为100分，在计算得分时不考虑

查看更多 →

默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：qwen-14b-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：服务接口地址，若服务部署在notebook中，该地址为"http://127

查看更多 →

景数据。如果清空里面的有效场景或用例，会导致任务运行失败。 不支持修改任务配置和评测的关联关系，但是评测自身属性，可以在评测管理页面进行调整。再次启动任务时，将使用新的评测方式。 父主题： 仿真服务常见问题

查看更多 →

不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。 人工评测：您可以采用人工评测的方式，参照目标任务构造评测集，通过横向或纵向评估评测集的方式来验证模型效果。 父主题： 典型训练问题和优化策略

查看更多 →

一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下（xxx替换为实际路径）： # 载入基础镜像，训练或评测引擎一般需包含cu

查看更多 →

#安装opencompass脚本 ├──vllm_api.py #启动vllm api 服务器 ├──vllm.py #构造vllm评测配置脚本名字 精度评测切换conda环境，确保之前启动服务为vllm接口，进入到benchmark_eval目录下，执行如下命令。 conda

查看更多 →

#启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本 精度评测切换conda环境，确保之前启动服务为vllm接口，进入到benchmark_eval目录下，执行如下命令。

查看更多 →

重庆，四川，贵州，云南，西藏自治区 东北 黑龙江，吉林，辽宁 中国大陆外节点分布 大区 节点分布（以华为内部业务划分区域） 亚洲 中国香港、中国澳门、中国台湾、日本、韩国、越南、印度、印尼、泰国、菲律宾、新加坡、马来西亚、柬埔寨、老挝、吉尔吉斯斯坦、文莱、缅甸、尼泊尔、孟加拉、蒙古、斯里兰卡、哈萨克斯坦、格

查看更多 →

叙利亚 75 突尼斯 76 阿拉伯联合酋长国 77 也门 78 立陶宛 79 泰国 80 日本 81 印度 82 马来西亚 83 印尼 84 韩国 173 巴基斯坦 209 南非 230 父主题： 附录

查看更多 →

sh 参数说明: vllm_path：构造vllm评测配置脚本名字，默认为vllm。 host：与起服务的host保持一致，比如起服务为0.0.0.0,host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_le

查看更多 →

sh 参数说明: vllm_path：构造vllm评测配置脚本名字，默认为vllm。 host：与起服务的host保持一致，比如起服务为0.0.0.0,host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_le

查看更多 →

vpsFloor Integer 参数解释： 楼层信息，表示服务所在的楼层编号。 取值范围： 不涉及。 VpsCode Integer 参数解释： 状态码，用于表示服务的状态或结果。 取值范围： 0：成功。 1：无法提供服务。 2：相机位姿错误。 3：低置信度。 4：GPS位置错误。

查看更多 →

} \ bash -x opencompass.sh 参数说明: vllm_path：构造vllm评测配置脚本名字，默认为vllm。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、ceval等判别式回答时，

查看更多 →

#启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 确保容器内通网，未通网需要配置$config_proxy_str，$config_pip_str设置对应的代理和pip源，来确保当前代理和pip源可用。 精度评测新建一个cond

查看更多 →

支持 云审计 的关键操作 通过云审计服务，您可以记录与Octopus相关的操作事件，便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 支持审计的关键操作列表 表1 云审计服务支持的公共服务关键操作列表 操作名称 资源类型 事件名称 新增纳管集群 octopus addCluster

查看更多 →

训练服务 训练算法 模型评测 编译镜像 编译任务 父主题： 自动驾驶云服务全流程开发

查看更多 →

需要侦听回调。回调函数无event参数。 NO_SRTEAM 获取设备的相机时出错。一般是设备没有后置摄像头。 - - 需要侦听回调。回调函数无event参数。 VPS_FAIL VPS定位失败。可能是定位不在地图范围、定位超时等原因。 - - 需要侦听回调。回调函数无event参数。 接口调用及相机fov设置示例

查看更多 →

模型数据集支持 模型评测支持多种数据集格式，包括Octopus格式和部分常见开源数据集格式，以下为各类别模型的数据集支持列表和示例。 目标检测2D 目标检测3D 目标追踪2D 目标追踪3D 语义分割2D 语义分割3D 车道线检测 分类 父主题： 模型评测

查看更多 →