更新时间：2025-07-30 GMT+08:00
创建多模态大模型评测数据集
多模态大模型支持人工评测和基于大模型的评测，人工评测方式需要通过人工创建的评测数据集和评测指标项对模型生成的回答进行评测，评测时需要人工基于创建好的评测项对模型回答进行打分，评测完成后会基于打分结果生成评测报告。
创建多模态大模型的评测任务，需要用户在自己的obs桶中准备好数据。数据格式为图片存放目录+jsonl文件，目录结构如下：
图1 目录结构
其中jsonl文件内容格式为图片+QA对格式：
cce评测服务启动配置参数说明如下：
pangu.studio.evaluation.import.casesets.max.number: 所有评测任务数据集数量最多不超过多少，默认100条，上限与数据集所在的OBS桶容量相关。
pangu.studio.evaluation.import.casesets.max.size: 所有评测任务数据集总大小不超过多少MB，默认512MB，上限与数据集所在的OBS桶容量相关。
pangu.studio.evaluation.import.caseset-info.mllm-max-size: 多模态单次上传最大文件尺寸，默认100MB，上限与数据集所在的OBS桶容量相关。
pangu.studio.evaluation.import.caseset-info.mllm-max-data: 多模态单次上传最大数据条数，默认10000条，上限与数据集所在的OBS桶容量相关。
父主题： 评测图像问答大模型
