更新时间：2026-11-02 GMT+08:00

可靠性

可靠性评估器

表1 评估器信息
分类		详情
基础信息	评估器名称	可靠性。
效果说明	功能概述	评估模型回答的可靠性，判断是否包含不确定、矛盾或误导性内容。
	评估方式	模型判定。
	评估目标	输出质量。
	类型	单轮对话。
	适用场景	离线评估、在线评估。
	应用场景	评估模型回答的可靠性。
评分标准	1.0分	完美，逻辑严密，无任何事实错误，完全遵循指令。
	0.75分	存在微小的逻辑瑕疵，但不影响最终结果。
	0.5分	合格，包含非关键性的事实偏差或部分遵循指令。
	0.25分	存在明显的事实性错误或指令违背。
	0.0分	严重幻觉、输出崩溃或逻辑完全不可靠。

评估器参数说明：

表2 评估器参数说明
参数类型	参数名称	是否必填	参数说明
输入参数	input	是	用户输入，提供评估的上下文背景。
输入参数	actual_output	是	智能体针对该输入的实际输出结果。
输出参数	score	是	评估得分（0.0/0.25/0.5/0.75/1.0）。
输出参数	reason	是	评分理由说明，列出评分依据及简要说明，以及综合评分的计算方式。

使用该评估器前，需要在评测集中为每条测试数据准备好input（用户输入）和actual_output（智能体实际输出）。评估时平台会自动将数据传入评估Prompt，严格按照评分标准中定义的维度、等级和描述进行逐维度评分，最终给出综合评分。各字段的推荐映射方式如下：

输入格式示例：

{
  "input": "请用JSON格式输出今天日期",
  "actual_output": "今天是2026年2月3日，星期二，天气真好！"
}

输出格式示例：

{
  "score": 0.0,
  "reason": "未按指令输出JSON格式，且内容还包含无关描述，属于输出崩溃且完全违背指令。"
}