# 获取评估任务对比结果 - ShowOpsEvaluationTasksCompareResult #### 功能介绍 该接口用于统计不同评估任务的对比结果，包含每个任务在每个评估器的得分情况、每个评估器得分、任务状态、任务耗时、任务消耗总token，适用于数据特征分析和评估任务管理的场景。 #### 调用方法 请参见[如何调用API](https://support.huaweicloud.com/api-agentarts/agentarts_07_0003.html)。 #### 授权信息 账号根用户具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备如下身份策略权限，更多的权限说明请参见[权限和授权项](https://support.huaweicloud.com/api-agentarts/Permission.html)。 | 授权项 | 访问级别 | 资源类型（\*为必须） | 条件键 | 别名 | 依赖的授权项 | |:---|:---|:---|:---|:---|:---| | agentarts:evaluationTask:showOpsEvaluationTasksCompareResult | Read | evaluationTask \* | g:ResourceTag/\ | - | - | #### URI GET /v1/ops/evaluation-tasks/{task_id}/result-comparisons 表1路径参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | task_id | 是 | String | **参数解释：** 基线评估任务的唯一标识符（ID）。可通过调用创建评估任务接口获取，或通过查询评估任务列表接口获取。 **约束限制：** 字符长度在0到100之间。 **取值范围：** 长度为0\~100个字符的字符串。 **默认取值：** 不涉及。 | 表2Query参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | task_ids | 是 | String | **参数解释：** 基线评估任务的唯一标识符列表，多个任务间用逗号相隔。可通过调用创建评估任务接口获取，或通过查询评估任务列表接口获取。 **约束限制：** 字符串类型，最大长度1000字符。 **取值范围：** 字符串长度不超过1000。 **默认取值：** 不涉及。 | | offset | 否 | Integer | **参数解释：** 分页查询的起始偏移量。用于指定从满足条件的第几条记录开始返回，常与 limit参数配合实现分页功能。 **约束限制：** 必须为整数，且大小在0到10,000之间。 **取值范围：** 0-10000。 **默认取值：** 0。 | | limit | 否 | Integer | **参数解释：** 单次查询返回的最大记录数量。用于控制分页查询时每页显示的数据条数。 **约束限制：** 必须为整数，且大小在1到100之间。 **取值范围：** 1-100。 **默认取值：** 10。 | #### 请求参数 无 #### 响应参数 **状态码：200** 表3响应Body参数 | 参数 | 参数类型 | 描述 | |:---|:---|:---| | data | Array of [OpsCompareResultItem] objects | **参数解释：** 评估任务对比结果列表，每个元素代表一组基准组与对照组的对比数据。 **取值范围：** 不涉及。 | | total | Integer | **参数解释：** 符合查询过滤条件的总记录数。 **取值范围：** 0-500。 | 表4OpsCompareResultItem | 参数 | 参数类型 | 描述 | |:---|:---|:---| | benchmark_group | Array of [OpsCompareGroupItem] objects | **参数解释：** 基准任务组信息列表。 | | control_group | Array of [OpsCompareGroupItem] objects | **参数解释：** 对照组任务信息列表。 | 表5OpsCompareGroupItem | 参数 | 参数类型 | 描述 | |:---|:---|:---| | item_id | String | **参数解释：** 测试项的唯一标识符（ObjectId格式）。 **取值范围：** 只能由英文字母、数字组成，长度为0\~100个字符。 | | item_data | Array of [OpsCompareItemData] objects | **参数解释：** 评测集条目数据列表。 | | dataset_id | String | **参数解释：** 测试所用数据集的唯一标识符（UUID格式）。 **取值范围：** 符合通用唯一识别码(UUID)标准的字符串，长度为36个字符。 | | dataset_version | String | **参数解释：** 数据集的版本标识符（UUID格式）。 **取值范围：** 符合通用唯一识别码(UUID)标准的字符串，长度为36个字符。 | | evaluations | Array of [OpsCompareEvaluation] objects | **参数解释：** 评估结果详情列表。 | | task_name | String | **参数解释：** 测试任务的名称，如"正确性评估-正式测试xxxxx"。 **取值范围：** 任意字符，长度为0\~100个字符。 | | task_id | String | **参数解释：** 测试任务的唯一标识符（UUID格式）。 **取值范围：** 符合通用唯一识别码(UUID)标准的字符串，长度为36个字符。 | 表6OpsCompareItemData | 参数 | 参数类型 | 描述 | |:---|:---|:---| | user_input | String | **参数解释：** 用户输入的文本内容。 **取值范围：** 任意字符，长度为0\~100个字符。 | | user_output | String | **参数解释：** 系统或模型针对该输入给出的输出内容。 **取值范围：** 任意字符，长度为0\~100个字符。 | 表7OpsCompareEvaluation | 参数 | 参数类型 | 描述 | |:---|:---|:---| | evaluator_id | String | **参数解释：** 评估器的唯一标识符，如TaskCompletion、TurnRelevancy等。 **取值范围：** 任意字符，长度为0\~100个字符。 | | evaluator_version | String | **参数解释：** 评估器的版本号，如"1.0.0"。 **取值范围：** 由字母v开头，后跟数字和点号组成的字符串，如"v1.0.0"。 | | score | Float | **参数解释：** 评估得分，通常在0到1之间；若评估失败，该值可能为0。 **取值范围：** 0\~1。 | | reason | String | **参数解释：** 评估得分的详细理由文本，失败时可为空字符串。 **取值范围：** 任意字符，长度为0\~100个字符。 | | latency_s | Integer | **参数解释：** 评估器执行的耗时，单位为秒。 **取值范围：** 0\~10000。 | | status_code | String | **参数解释：** 评估执行状态。 **取值范围：** - SUCCESS：评估执行成功 - FAILED：评估执行失败（如超时、网络错误等） | | error | String | **参数解释：** 失败时的详细错误信息；成功时为空字符串。 **取值范围：** 任意字符，长度为0\~100个字符。 | | input_token_usage | Integer | **参数解释：** 评估器处理输入时消耗的 token 数量。 **取值范围：** 0\~10000。 | | output_token_usage | Integer | **参数解释：** 评估器生成输出时消耗的 token 数量。 **取值范围：** 0\~10000。 | | correction | Map\ | **参数解释：** 纠正信息字段，通常为null；预留用于自动纠错或人工校正结果。Key为纠正字段名称，Value为OpsCorrection纠正详情对象。 **取值范围：** 不涉及。 | | retry_count | Integer | **参数解释：** 评估器失败后重试的次数。 **取值范围：** 0\~10000。 | | created_at | String | **参数解释：** 评估记录创建时间，格式为yyyy-MM-ddTHH:mm:ssZ（ISO 8601，UTC），示例：2024-01-15T08:30:00Z。 **取值范围：** 不涉及。 | | evaluator_name | String | **参数解释：** 评估器的人类可读名称，如"任务完成度"、"相关性"。 **取值范围：** 任意字符，长度为0\~100个字符。 | 表8OpsCorrection | 参数 | 参数类型 | 描述 | |:---|:---|:---| | reason | String | **参数解释：** 纠正原因。 **取值范围：** 任意字符，长度为0\~10000个字符。 | | score | Float | **参数解释：** 纠正后的得分，通常在0到1之间。 **取值范围：** 0\~1。 | | updated_user_id | String | **参数解释：** 纠正者的用户ID。 **取值范围：** 只能由英文字母、数字组成，长度为0\~1000个字符。 | **状态码：400** 表9响应Body参数 | 参数 | 参数类型 | 描述 | |:---|:---|:---| | error_code | String | **参数解释：** 系统定义的标准化错误代码。 **取值范围：** 业务异常编码字符串。 | | error_msg | String | **参数解释：** 对错误的详细描述，包含异常原因或解决建议。 **取值范围：** 字符长度2-512，任意文本内容。 | | encoded_authorization_message | String | **参数解释：** 编码后的授权信息，用于客户端解析权限问题。 **取值范围：** Base64编码的字符串。 | | details | Array of [OpsErrorDetail] objects | **参数解释：** 错误详情列表，包含多个子错误的详细信息。 **取值范围：** 不涉及。 | | request_id | String | **参数解释：** 请求的唯一标识符，用于问题排查和链路追踪。 **取值范围：** 符合通用唯一识别码(UUID)标准的字符串。 | 表10OpsErrorDetail | 参数 | 参数类型 | 描述 | |:---|:---|:---| | error_code | String | **参数解释：** 子错误的标准化错误代码。 **取值范围：** 业务异常编码字符串。 | | error_msg | String | **参数解释：** 对子错误的详细描述。 **取值范围：** 任意文本内容。 | #### 请求示例 获取评估任务对比结果 ``` GET https://api.example.com/v1/ops/evaluation-tasks/a67452bf21f819-6f91-4568-9f2f-57ef9562ab7b/result-comparisons?task_ids=a64cd819-6f91-4568-9f2f-57ef9562ab7b,a64cd819-6f91-4568-9f2f-57ef9562ab7c&limit=10&offset=0 ``` #### 响应示例 **状态码：200** 返回添加成功 ``` { "data" : [ { "benchmark_group" : [ { "item_id" : "69cb54fa4ff1d28db99b80f9", "item_data" : [ { "user_input" : "2-1", "user_output" : "2-1" }, { "user_input" : "2-2", "user_output" : "2-2" } ], "dataset_id" : "c5784498-75a4-4a39-9a88-d34c96c5ac23", "dataset_version" : "410eef1f-292c-41e9-9d92-cfd54c202954", "evaluations" : [ { "evaluator_id" : "TaskCompletion", "evaluator_version" : "1.0.0", "score" : 0, "reason" : "", "latency_s" : 8, "status_code" : "FAILED", "error" : "评估失败。【[ERR_INVALID_TYPE(1002)] Metric 'TaskCompletionMetric' is not a valid metric for a multi-turn TestCase. (Hint: Use a metric that inherits from BaseSessionMetric for TestCases with multiple turns.)】", "input_token_usage" : 20, "output_token_usage" : 3, "correction" : null, "retry_count" : 4, "created_at" : "2026-03-31T06:54:09.974Z", "evaluator_name" : "任务完成度" }, { "evaluator_id" : "TurnRelevancy", "evaluator_version" : "1.0.0", "score" : 1, "reason" : "得分为 1.0，因为不相关性描述列表为空，表明AI回复的消息'actual_output'与用户的消息'input'之间没有任何不相关之处，完全符合对话上下文和用户需求。", "latency_s" : 6, "status_code" : "SUCCESS", "error" : "", "input_token_usage" : 1864, "output_token_usage" : 92, "retry_count" : 1, "created_at" : "2026-03-31T06:54:09.974Z", "evaluator_name" : "相关性" } ], "task_name" : "正确性评估-正式测试3544585", "task_id" : "a9bc0aa7-f93c-464d-945b-b7dd3b52945a" } ], "control_group" : [ { "item_id" : "69cb54fa4ff1d28db99b80f9", "item_data" : [ { "user_input" : "2-1", "user_output" : "2-1" }, { "user_input" : "2-2", "user_output" : "2-2" } ], "dataset_id" : "c5784498-75a4-4a39-9a88-d34c96c5ac23", "dataset_version" : "410eef1f-292c-41e9-9d92-cfd54c202954", "evaluations" : [ { "evaluator_id" : "TurnRelevancy", "evaluator_version" : "1.0.0", "score" : 1, "reason" : "得分为 1.0，因为不相关性描述列表为空，表明AI回复的消息与用户的消息完全相关，没有任何不相关之处。", "latency_s" : 6, "status_code" : "SUCCESS", "error" : "", "input_token_usage" : 1864, "output_token_usage" : 79, "correction" : null, "retry_count" : 1, "created_at" : "2026-03-31T05:03:01.736Z", "evaluator_name" : "相关性" } ], "task_name" : "正确性评估-正式测试358585", "task_id" : "ca1ca597-e3ea-4a0b-9e4b-e1967630eef0" }, { "item_id" : "69ca264687cc01c224371c78", "item_data" : [ { "user_input" : "1", "user_output" : "测试33333" }, { "user_input" : "1", "user_output" : "测试33333" } ], "dataset_id" : "710916e2-4969-44dd-9e79-0461b1f0472f", "dataset_version" : "a42aa06a-5309-4967-9a22-fae2cb9a6238", "evaluations" : [ { "evaluator_id" : "TurnRelevancy", "evaluator_version" : "1.0.0", "score" : 0, "reason" : "", "latency_s" : 4, "status_code" : "FAILED", "error" : "评估失败。【{'code': 5004, 'name': 'ERR_LLM_TIMEOUT', 'message': 'LLM network timeout or connection error: Connection error.', 'suggestion': 'Check your network connectivity or try running the evaluation later.', 'details': {'error_type': 'APIConnectionError'}}】", "input_token_usage" : 0, "output_token_usage" : 0, "retry_count" : 4, "created_at" : "2026-03-31T04:45:55.052Z", "evaluator_name" : "相关性" } ], "task_name" : "正确性评估-正式测试38995", "task_id" : "73922be4-f10b-414b-94fa-f0c802e04b78" } ] }, { "benchmark_group" : [ { "item_id" : "69cb54fa4ff1d28db99b80f8", "item_data" : [ { "user_input" : "1-1", "user_output" : "1-2" }, { "user_input" : "1-2", "user_output" : "1-2" } ], "dataset_id" : "c5784498-75a4-4a39-9a88-d34c96c5ac23", "dataset_version" : "410eef1f-292c-41e9-9d92-cfd54c202954", "evaluations" : [ { "evaluator_id" : "TaskCompletion", "evaluator_version" : "1.0.0", "score" : 0, "reason" : "", "latency_s" : 1, "status_code" : "FAILED", "error" : "评估失败。【[ERR_INVALID_TYPE(1002)] Metric 'TaskCompletionMetric' is not a valid metric for a multi-turn TestCase. (Hint: Use a metric that inherits from BaseSessionMetric for TestCases with multiple turns.)】", "input_token_usage" : 2, "output_token_usage" : 1, "retry_count" : 4, "created_at" : "2026-03-31T06:54:09.974Z", "evaluator_name" : "任务完成度" }, { "evaluator_id" : "TurnRelevancy", "evaluator_version" : "1.0.0", "score" : 1, "reason" : "得分为 1.0，因为不相关性描述列表为空，表明AI回复的消息与用户的消息完全相关，没有任何不相关之处。", "latency_s" : 5, "status_code" : "SUCCESS", "error" : "", "input_token_usage" : 1864, "output_token_usage" : 79, "retry_count" : 1, "created_at" : "2026-03-31T06:54:09.974Z", "evaluator_name" : "相关性" } ], "task_name" : "正确性评估-正式测试3544585", "task_id" : "a9bc0aa7-f93c-464d-945b-b7dd3b52945a" } ], "control_group" : [ { "item_id" : "69cb54fa4ff1d28db99b80f8", "item_data" : [ { "user_input" : "1-1", "user_output" : "1-2" }, { "user_input" : "1-2", "user_output" : "1-2" } ], "dataset_id" : "c5784498-75a4-4a39-9a88-d34c96c5ac23", "dataset_version" : "410eef1f-292c-41e9-9d92-cfd54c202954", "evaluations" : [ { "evaluator_id" : "TurnRelevancy", "evaluator_version" : "1.0.0", "score" : 1, "reason" : "得分为 1.0，因为不相关性描述列表为空，表明AI回复的消息与用户的消息完全相关，没有任何不相关之处。", "latency_s" : 5, "status_code" : "SUCCESS", "error" : "", "input_token_usage" : 1864, "output_token_usage" : 76, "retry_count" : 1, "created_at" : "2026-03-31T05:03:01.736Z", "evaluator_name" : "相关性" } ], "task_name" : "正确性评估-正式测试358585", "task_id" : "ca1ca597-e3ea-4a0b-9e4b-e1967630eef0" }, { "item_id" : "69c9ef8fd642c4aacc40ab98", "item_data" : [ { "user_input" : "1", "user_output" : "测试33333" }, { "user_input" : "1", "user_output" : "测试33333" } ], "dataset_id" : "710916e2-4969-44dd-9e79-0461b1f0472f", "dataset_version" : "a42aa06a-5309-4967-9a22-fae2cb9a6238", "evaluations" : [ { "evaluator_id" : "TurnRelevancy", "evaluator_version" : "1.0.0", "score" : 0, "reason" : "", "latency_s" : 4, "status_code" : "FAILED", "error" : "评估失败。【{'code': 5004, 'name': 'ERR_LLM_TIMEOUT', 'message': 'LLM network timeout or connection error: Connection error.', 'suggestion': 'Check your network connectivity or try running the evaluation later.', 'details': {'error_type': 'APIConnectionError'}}】", "input_token_usage" : 0, "output_token_usage" : 0, "retry_count" : 4, "created_at" : "2026-03-31T04:45:55.052Z", "evaluator_name" : "相关性" } ], "task_name" : "正确性评估-正式测试38995", "task_id" : "73922be4-f10b-414b-94fa-f0c802e04b78" } ] } ], "total" : 10 } ``` #### 状态码 | 状态码 | 描述 | |:---|:---| | 200 | 返回添加成功 | | 400 | 错误 | #### 错误码 请参见[错误码](https://support.huaweicloud.com/api-agentarts/ErrorCode.html)。