不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。 人工评测：您可以采用人工评测的方式，参照目标任务构造评测集，通过横向或纵向评估评测集的方式来验证模型效果。 父主题： 大模型微调训练类问题

查看更多 →

工作说明书 服务简介 本服务工作说明书列明由华为云为客户实施“鲲鹏测评专家服务”所提供的专业服务内容。 本服务工作说明书列明华为云提供的服务目录、服务范围、分工界面、双方职责等，以此来约束双方服务行为。 本服务工作说明书是《鲲鹏测评项目合作协议》的附件，本工作说明书的具体实施，应

查看更多 →

天宽行业大模型适配服务1 图3 天宽行业大模型适配服务2 在模型训练过程中，天宽通过配置和管理云资源，确保训练任务的高效运行。借助云计算实例（华为云E CS ），天宽团队能够为训练任务分配合适的计算资源，同时利用存储服务（华为云OBS）来存储大规模数据和模型。训练期间，天宽团队使用云服务提供的监

查看更多 →

一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下（xxx替换为实际路径）： # 载入基础镜像，训练或评测引擎一般需包含cu

查看更多 →

service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理服务后的服务预测地址，示例：http://

查看更多 →

C类均匀权重评分（Average）方案 当用户选择该评分方案时，就不需要设置评测指标的重要度，各个指标按均匀权重进行扣分。 C类均匀权重评分原则（Principle） 各指标得分权重相同。 C类均匀权重评测分数计算实现（Equation） 此方案下总分为100分，在计算得分时不考虑

查看更多 →

sh 参数说明: vllm_path：构造vllm评测配置脚本名字，默认为vllm。 host：与起服务的host保持一致，比如起服务为0.0.0.0，host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_le

查看更多 →

├──llm_evaluation #推理评测代码包 ├──benchmark_eval # 精度评测 ├── config ├── config.json # 请求的参数，根据实际启动的服务来调整

查看更多 →

一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下（xxx替换为实际路径）： # 载入基础镜像，训练或评测引擎一般需包含cu

查看更多 →

默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：qwen-14b-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：服务接口地址，若服务部署在notebook中，该地址为"http://127

查看更多 →

仿真服务快速入门 流程指引 步骤一：创建镜像仓库 步骤二：创建仿真算法 步骤三：创建评测 步骤四：创建仿真场景 步骤五：创建仿真任务 步骤六：查看仿真评测结果

查看更多 →

支持 云审计 的关键操作 通过云审计服务，您可以记录与Octopus相关的操作事件，便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 支持审计的关键操作列表 表1 云审计服务支持的公共服务关键操作列表 操作名称 资源类型 事件名称 新增纳管集群 octopus addCluster

查看更多 →

parameters. 导航算法服务参数不正确。 检查参数是否正确。 400 NAVI.0004 Access denied, out of your service zone. 导航参数不正确，位置不在您的服务区。 到有服务的地方请求或联系技术支持。 400 VPS.0002 VPS failed

查看更多 →

模型数据集支持 模型评测支持多种数据集格式，包括Octopus格式和部分常见开源数据集格式，以下为各类别模型的数据集支持列表和示例。 目标检测2D 目标检测3D 目标追踪2D 目标追踪3D 语义分割2D 语义分割3D 车道线检测 分类 父主题： 模型评测

查看更多 →

与其他服务的关系 统一身份认证服务 Octopus使用统一身份认证服务（Identity and Access Management，简称IAM）实现认证功能。IAM的更多信息请参见《统一身份认证服务用户指南》。 对象存储服务 Octopus服务使用对象存储服务（Object Storage

查看更多 →

需要接收两个参数： VPS请求接口的返回数据和世界坐标原点。 dictPoseData: { utmcode: string; vpsFloor: string; pose: { r: number[], t: number[]} } dictPoseData.pose.r是VPS姿态矩阵 dictPoseData

查看更多 →

，也可以自定义算法。 训练算法 模型评测 在机器学习中，通常需要使用一定的方法和标准，来评测一个模型的预测精确度，用于衡量一个模型及其标注结果的可信度。自动驾驶领域的模型多用于目标检测，如识别并标注出图像中车辆、行人、可行区域等对象。 模型评测 编译镜像 编译镜像可以将训练模型转

查看更多 →

期望的预警次数； 默认期望的预警次数为-1，此时只要该预警功能激活至少一次，则评测项通过；当设置期望的预警次数为正数或0时（0代表期望预警功能不被激活），只有当预警功能激活次数和期望预警次数相同时，评测项才通过； 该指标仅对有算法pb的场景有效。当算法pb中未设置预警项，或预警项

查看更多 →

数据处理 标注服务 训练服务 仿真服务 智驾模型服务 镜像仓库 运维配置 工作空间 功能架构 自动驾驶云服务（Octopus）是一个一站式的开发平台，能够支撑开发者从数据收集到仿真应用的全流程开发过程。整体由数据资产、数据服务、标注服务、训练服务、仿真服务、智驾模型服务、公共配置管理组成。

查看更多 →

侧向加速度的阈值设置为2.3 ，具体参考《i-vista评测规程》第5页最后一段。 该指标关联的内置可视化时间序列数据为：accY。 该指标的异常时间点记录类型为：POINT_TYPE_POINT。 父主题： 内置评测指标说明

查看更多 →

不通过。 通行速率指标可有效避免主车一直不动，其他评测指标均通过，导致得分却很高的情况发生。 该指标关联的内置可视化时间序列数据为：speedX。 该指标的异常时间点记录类型为：POINT_TYPE_ALL。 父主题： 内置评测指标说明

查看更多 →