等。 模型评测：为了确保模型的实际应用效果，平台提供了多维度的模型评测功能。通过自动化的评测机制，用户可以在训练过程中持续监控模型的精度、召回率等关键指标，及时发现潜在问题并优化调整。评测功能能够帮助用户在多种应用场景下验证模型的准确性与可靠性。支持基于规则的自动评测方式，NLP

查看更多 →

现算法的白盒化评测。 Datahub模式，目前暂不支持配合仿真器的帧同步模式。 图3 算法配置 评测项配置 用户可选择“内置评测配置”和“自定义评测镜像”，设置评测标准。 内置评测配置：请选择“评测管理”服务中创建成功的内置评测配置。 自定义评测镜像：请选择在“评测管理”服务中创

查看更多 →

不参与评分。 AB类均匀权重评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性，因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。

查看更多 →

├──vllm_api.py #启动vllm api 服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本 精度评测切换conda环境，确保之前启动服务为vllm接口，进入

查看更多 →

├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本 精度评测切换conda环境，确保之前启动服务为vllm接口，进入到

查看更多 →

├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本 精度评测切换conda环境，确保之前启动服务为vllm接口，进入

查看更多 →

口或线下IDE中进行交互式的算法或模型的开发和调试。 训练任务：用户选择训练算法和训练数据集创建训练任务进行训练。 模型评测：负责管理评测脚本、评测任务和评测对比任务。 编译管理：包含编译任务和编译镜像。训练产生的模型版本，一般不可直接被车载芯片识别，需要经过编译工具，模型编译成车载芯片识别的产物。

查看更多 →

选择左侧的数据，右侧将高亮显示对应的数据，内置评测信号参数请参考内置评测信号参数。 可根据需要添加数据和框图，也可根据需要选择框图的横向和纵向布局。 单击可删除不需要的框图和数据。单击“清空数据”，可清空页面上所有的数据。 内置评测信号参数 表1 内置评测信号参数 内置评测信号参数 对应中文 jerkX

查看更多 →

创建镜像仓库 仿真服务 算法管理 在创建任务前，需要创建算法，用户可从本地上传容器镜像。 创建仿真算法 评测管理 支持内置评测配置和自定义评测镜像，对仿真任务中的算法展开评测。 创建评测 场景管理 创建仿真场景，仿真场景库、测试套件、测试用例和逻辑泛化场景用于仿真开发。 创建仿真场景 任务管理

查看更多 →

C类均匀权重评分（Average）方案 当用户选择该评分方案时，就不需要设置评测指标的重要度，各个指标按均匀权重进行扣分。 C类均匀权重评分原则（Principle） 各指标得分权重相同。 C类均匀权重评测分数计算实现（Equation） 此方案下总分为100分，在计算得分时不考虑

查看更多 →

保存等操作。 算法管理：用于对接客户的上云算法，并支持算法的版本级管理，并可自动化触发关联的批量算法。 评测管理：支持内置评测配置和自定义评测镜像，对仿真任务中的算法展开评测。 场景管理：包含场景、场景库、逻辑场景、逻辑场景库、测试用例、测试套件等。支持页面上传、泛化、在线仿真编

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理

查看更多 →

库或用例中的场景数据。如果清空里面的有效场景或用例，会导致任务运行失败。 不支持修改任务配置和评测的关联关系，但是评测自身属性，可以在评测管理页面进行调整。再次启动任务时，将使用新的评测方式。 父主题： 仿真服务常见问题

查看更多 →

化解决方案的场景下，天宽也会开发自定义评测脚本，确保评测方案能够全面覆盖项目的特殊需求，实现对模型表现的全方位评估和优化。通过这一系统化的评测流程，天宽确保模型能够在实际业务中达到最佳性能。 图9 精度对比 实施模型能力评测时，首先运行评测测试，执行模型在预设的测试集上的推理，并

查看更多 →

不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。 人工评测：您可以采用人工评测的方式，参照目标任务构造评测集，通过横向或纵向评估评测集的方式来验证模型效果。 父主题： 大模型微调训练类

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理

查看更多 →

├──llm_tools #推理工具包 ├──llm_evaluation #推理评测代码包 ├──benchmark_eval # 精度评测 ├── config ├── config.json

查看更多 →

Octopus模型管理模块，支持用户上传模型，并将其用于模型评测、模型编译任务。如果需要将模型用于内置评测模板评测，除模型文件外，需另外包含推理启动文件： customer_inference.py 仅当需要使用内置评测指标计算时需要添加推理启动文件，文件名称可自定义，将该文件置于模型目录下。

查看更多 →

H找到。 一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。 以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下： # 载入基础镜像，训练或评测引擎一般需包含cuda/cu

查看更多 →

├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本 精度评测切换conda环境，确保之前启动服务为vllm接口，进入到

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：qwen-14b-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：服务接口地址，若服务

查看更多 →