├──llm_tools #推理工具包 ├──llm_evaluation #推理评测代码包 ├──benchmark_eval # 精度评测 ├── config ├── config.json

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如ceval_gen、mmlu_gen

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如ceval_gen、mmlu_gen

查看更多 →

downloadAlgorithmMeta 创建评测镜像 octopus createSimEvaluationImages 更新评测镜像 octopus updateSimEvaluationImages 删除评测镜像 octopus deleteSimEvaluationImages 创建评测 octopus

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如c

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如c

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：qwen-14b-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：服务接口地址，若服务

查看更多 →

大规模数据集，从而帮助用户快速提升模型性能。 模型评测：为了确保模型的实际应用效果，平台提供了多维度的模型评测功能。通过自动化的评测机制，用户可以在训练过程中持续监控模型的精度、召回率等关键指标，及时发现潜在问题并优化调整。评测功能能够帮助用户在多种应用场景下验证模型的准确性与可靠性。

查看更多 →

模型数据集支持 模型评测支持多种数据集格式，包括Octopus格式和部分常见开源数据集格式，以下为各类别模型的数据集支持列表和示例。 目标检测2D 目标检测3D 目标追踪2D 目标追踪3D 语义分割2D 语义分割3D 车道线检测 分类 父主题： 模型评测

查看更多 →

仿真服务快速入门 流程指引 步骤一：创建镜像仓库 步骤二：创建仿真算法 步骤三：创建评测 步骤四：创建仿真场景 步骤五：创建仿真任务 步骤六：查看仿真评测结果

查看更多 →

├──build.sh # 安装量化模块的脚本 ├──llm_evaluation # 推理评测代码包 ├──benchmark_tools #性能评测 ├── benchmark.py # 可以基于默认的参数跑完静态benchmark和动态benchmark

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如c

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如c

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如c

查看更多 →

NPU推理指导（6.3.912） Ascend-vLLM介绍 支持的模型列表 版本说明和要求 推理服务部署 推理关键特性使用 推理服务精度评测 推理服务性能评测 附录 父主题： LLM大语言模型训练推理

查看更多 →

期望的预警次数； 默认期望的预警次数为-1，此时只要该预警功能激活至少一次，则评测项通过；当设置期望的预警次数为正数或0时（0代表期望预警功能不被激活），只有当预警功能激活次数和期望预警次数相同时，评测项才通过； 该指标仅对有算法pb的场景有效。当算法pb中未设置预警项，或预警项

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如c

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如c

查看更多 →

不通过。 通行速率指标可有效避免主车一直不动，其他评测指标均通过，导致得分却很高的情况发生。 该指标关联的内置可视化时间序列数据为：speedX。 该指标的异常时间点记录类型为：POINT_TYPE_ALL。 父主题： 内置评测指标说明

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如c

查看更多 →

，也可以自定义算法。 训练算法 模型评测 在机器学习中，通常需要使用一定的方法和标准，来评测一个模型的预测精确度，用于衡量一个模型及其标注结果的可信度。自动驾驶领域的模型多用于目标检测，如识别并标注出图像中车辆、行人、可行区域等对象。 模型评测 编译镜像 编译镜像可以将训练模型转

查看更多 →