云平台提供了多种实例类型供您选择，不同类型的实例可以提供不同的计算能力和存储能力。同一实例类型下可以根据CPU和内存的配置选择不同的实例规格。本章节以通用计算增强型C6s、通用计算增强型C6、内存优化型M6为例，采用SPECInt（Standard Performance Evaluation Corporation，Integer）基准

查看更多 →

├──convert_awq_to_npu.py # awq权重转换脚本 ├──llm_evaluation # 推理评测代码包 ├──benchmark_tools #性能评测 ├── benchmark.py # 可以基于默认的参数跑完静态benchmark和动态benchmark

查看更多 →

├──build.sh # 安装量化模块的脚本 ├──llm_evaluation # 推理评测代码包 ├──benchmark_tools #性能评测 ├── benchmark.py # 可以基于默认的参数跑完静态benchmark和动态benchmark

查看更多 →

评测算法的自研proto接口 背景 Octopus内置一套评测算法，用于对自动驾驶系统的性能表现进行多维度评测。内置评测算法的评测结果按照eva.proto中的定义，序列化成pb文件保存起来。 Octopus仿真平台的前端通过解析评测pb对评测结果进行展示，目前前端展示主要分为两大方面：

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如ceval_gen、mmlu_gen

查看更多 →

#启动vllm api 服务器 ├──vllm.py #构造vllm评测配置脚本名字 确保容器内通网，未通网需要配置$config_proxy_str，$config_pip_str设置对应的代理和pip源，来确保当前代理和pip源可用。 精度评测新建一个cond

查看更多 →

现算法的白盒化评测。 Datahub模式，目前暂不支持配合仿真器的帧同步模式。 图3 算法配置 评测项配置 用户可选择“内置评测配置”和“自定义评测镜像”，设置评测标准。 内置评测配置：请选择“评测管理”服务中创建成功的内置评测配置。 自定义评测镜像：请选择在“评测管理”服务中创

查看更多 →

了仿真器在整个仿真过程中的数据，用户可以利用该仿真pb进行数据分析。 评测pb下载：任务运行成功后，用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果，支持用户自定义评测指标输出为Octopus的评测pb格式，从而在前端进行展示。 算法pb下载：任务运行成功后，用户可以

查看更多 →

AB类log函数评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性,因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。

查看更多 →

镜像生效，评测镜像和仿真器镜像不支持配置entrypoint。 目前自定义算法、自定义评测、自定义脚本的镜像制作使用的基础镜像版本要求为：ubuntu18.04及以上。算法与仿真器需要采用TCP协议进行通信。 自定义评测镜像制作 与datahub对接的算法镜像制作 评测算法的自研proto接口

查看更多 →

算法的白盒化评测。 图4 算法配置 选择评测项配置 可选择“内置评测配置”和“自定义评测镜像”。如果使用自定义评测，请选择在“评测管理”服务中创建成功的内置评测配置或自定义评测镜像。 测试结果通过标准 可自定义测试结果通过标准的分数。区间为0-100分。 图5 评测项配置 选择场景，支持场景库、测试套件、逻辑场景。

查看更多 →

AB类均匀权重评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性, 因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。

查看更多 →

训练服务操作引导如下： 算法管理：负责管理用户上传的符合平台规范的算法。 训练任务：用户选择训练算法和训练数据集创建训练任务进行训练。 模型评测：负责管理评测脚本、评测任务和评测对比任务。 编译管理：包含编译任务和编译镜像。训练产生的模型版本，往往不可直接被车载芯片识别，需要经过编译工具，模型编译成车载芯片识别的产物。

查看更多 →

#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 精度评测切换conda环境，确保之前启动服务为vllm接口，进入到benchmark_eval目录下，执行如下命令。

查看更多 →

├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本 精度评测切换conda环境，确保之前启动服务为vllm接口，进入

查看更多 →

算法的白盒化评测。 图4 算法配置 选择评测项配置 可选择“内置评测配置”和“自定义评测镜像”。如果使用自定义评测，请选择在“评测管理”服务中创建成功的内置评测配置或自定义评测镜像。 测试结果通过标准 可自定义测试结果通过标准的分数。区间为0-100分。 图5 评测项配置 选择场景，支持场景库、测试套件、逻辑场景。

查看更多 →

创建镜像仓库 仿真服务 算法管理 在创建任务前，需要创建算法，用户可从本地上传容器镜像。 创建仿真算法 评测管理 支持内置评测配置和自定义评测镜像，对仿真任务中的算法展开评测。 创建评测 场景管理 创建仿真场景，仿真场景库、测试套件、测试用例和逻辑泛化场景用于仿真开发。 创建仿真场景 任务管理

查看更多 →

库或用例中的场景数据。如果清空里面的有效场景或用例，会导致任务运行失败。 不支持修改任务配置和评测的关联关系，但是评测自身属性，可以在评测管理页面进行调整。再次启动任务时，将使用新的评测方式。 父主题： 仿真服务常见问题

查看更多 →

任务队列 评测任务在创建之后，可在此查看任务队列，同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“任务队列”页签，可查看任务。 图1 任务队列 评测任务队列相关操作 在“任务队列”页签，还可以进行以下操作。 表1 评测任务队列相关操作 任务 操作步骤

查看更多 →

不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。 人工评测：您可以采用人工评测的方式，参照目标任务构造评测集，通过横向或纵向评估评测集的方式来验证模型效果。 父主题： 典型训练问题和优化策略

查看更多 →

回放等功能。 算法管理：用于对接客户的上云算法，并支持算法的版本级管理，并可自动化触发关联的批量算法。 评测管理：支持内置评测配置和自定义评测镜像，对仿真任务中的算法展开评测。 场景管理：包含场景、场景库、逻辑场景、逻辑场景库、测试用例、测试套件等。支持页面上传、路测数据生成、泛

查看更多 →