评估器调试 - DebugOpsEvaluator

agentarts:evaluator:debugOpsEvaluator

Write

evaluator *

g:ResourceTag/<tag-key>

-

-

type

否

String

参数解释：

评估器类型标识，用于指定调试的评估器实现类别；turn_type 参数则用于指定对话轮次类型，两者用途不同。

约束限制：

不涉及。

取值范围：

枚举值：

• llm: 基于大语言模型的调试

• code: 基于代码脚本的调试

默认取值：

不涉及。

turn_type

否

String

参数解释：

评估器的对话轮次类型，用于指定被评估对话的轮次结构；type 参数则用于指定评估器类型，两者用途不同。

约束限制：

不涉及。

取值范围：

长度为0~100个字符，枚举值：

• single：单轮评估器

• multi：多轮评估器

默认取值：

不涉及。

evaluator_content_type

否

String

参数解释：

评估器的内容类型。

约束限制：

不涉及。

取值范围：

• text：文本

• trajectory：轨迹

默认取值：

不涉及。

evaluator_id

否

String

参数解释：

待调试评估器的唯一标识符。可通过调用查询评估器列表接口获取，或通过创建评估器接口返回。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。不传时表示纯调试模式，不关联已保存的评估器；传值时调试完成后可直接关联该评估器。

evaluator_version

否

String

参数解释：

待调试评估器的版本号。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。不传时使用该评估器的最新版本；传值时调试指定的评估器版本。

llm_config

否

OpsEvaluationLLMConfig object

参数解释：

大语言模型（LLM）的评估配置对象。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

geval_config

否

geval_config object

参数解释：

G-Eval 评估器配置（criteria/evaluation_steps/rubric/model_config）。

约束限制：

不涉及。

取值范围：

不涉及。

criteria

是

String

参数解释：

评估标准，描述大模型对输出进行评分的依据。

约束限制：

必填；去除首尾空格后长度不能超过20000字符；必须至少包含一个 {{variable}} 格式的模板变量，模板变量会在评估时被 test_case 中的值替换。

取值范围：

1~20000字符，且必须包含至少一个 {{变量名}} 占位符。

默认取值：

不涉及。

evaluation_steps

否

Array of strings

参数解释：

评估步骤，指导大模型按步骤进行评估打分，可省略。

约束限制：

可选；数量不能超过10个；每个步骤去除首尾空格后长度需在1~200字符之间，不能为空。

取值范围：

不涉及。

默认取值：

不涉及。

rubric

否

Array of rubric objects

参数解释：

评分细则，定义各分数档位对应的参考输出描述，供大模型打分时作为锚点，可省略。

约束限制：

可选；数量不能超过10个；score必须在0~1之间且不能重复；reference_outcome去除首尾空格后长度需在1~200字符之间，不能为空。

取值范围：

不涉及。

默认取值：

不涉及。

model_config

是

OpsEvaluationLLMConfig object

参数解释：

大语言模型（LLM）的评估配置对象。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

score

是

Double

参数解释：

该档位对应的评估得分。

约束限制：

必须为0~1之间的数值，且不能与其他档位的score重复。

取值范围：

0~1（闭区间）。

默认取值：

不涉及。

reference_outcome

是

String

参数解释：

该分数档位对应的参考输出描述，作为大模型评分的锚点文本。

约束限制：

必填；去除首尾空格后长度需在1~200字符之间，不能为空或纯空白。

取值范围：

1~200字符。

默认取值：

不涉及。

system_prompt

否

String

参数解释：

系统提示词（System Prompt），定义模型的角色与规则。

约束限制：

不涉及。

取值范围：

可由任意字符组成，长度为0~10000个字符。

默认取值：

不涉及。

test_case

否

Object

参数解释：

调试用的测试用例数据。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

model_config

否

OpsEvaluationModelConfig object

参数解释：

具体的模型参数配置对象，参考OpsEvaluationModelConfig定义。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

model_id

否

String

参数解释：

模型的唯一标识符。可通过调用获取模型列表接口获取。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

model_name

否

String

参数解释：

模型的显示名称。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

temperature

否

Float

参数解释：

采样温度参数，用于控制输出的随机性。数值低更聚焦，数值高更具创造性。

约束限制：

不涉及。

取值范围：

0.0~2.0。

默认取值：

0.7。

max_tokens

否

Integer

参数解释：

单次推理生成的最大Token数量限制，单位：个。

约束限制：

不涉及。

取值范围：

1~32000。

默认取值：

不涉及。

top_p

否

Float

参数解释：

核采样参数，用于控制生成时考虑的概率分布范围，值越小生成内容越确定，值越大生成内容越多样。

约束限制：

不涉及。

取值范围：

0.0~1.0。

默认取值：

1.0。

frequency_penalty

否

Float

参数解释：

频率惩罚系数，降低内容重复倾向。

约束限制：

不涉及。

取值范围：

-2.0~2.0。

默认取值：

0.0。

status_code

Integer

参数解释：

调试执行的状态码。

取值范围：

不涉及。

error

String

参数解释：

调试过程中产生的错误详细信息。

取值范围：

不涉及。

score

Integer

参数解释：

评估器根据当前输入调试出的评分结果。

取值范围：

不涉及。

reason

String

参数解释：

评估结果的详细理由或推导过程。

取值范围：

不涉及。

input_token_usage

Integer

参数解释：

调试请求中输入内容消耗的Token数量。

取值范围：

0~2147483647。

output_token_usage

Integer

参数解释：

调试请求中输出内容消耗的Token数量。

取值范围：

0~2147483647。

latency

Integer

参数解释：

本次调试操作的耗时，单位：毫秒(ms)。

取值范围：

0~2147483647。

id

String

参数解释：

评估结果记录ID。

取值范围：

不涉及。

account_id

String

参数解释：

租户账号ID。

取值范围：

不涉及。

task_id

String

参数解释：

任务ID。

取值范围：

不涉及。

item_id

String

参数解释：

条目ID。

取值范围：

不涉及。

session_id

String

参数解释：

会话ID。

取值范围：

不涉及。

evaluator_id

String

参数解释：

评估器ID。

取值范围：

不涉及。

evaluator_version

String

参数解释：

评估器版本号。

取值范围：

不涉及。

evaluator_type

Integer

参数解释：

评估器类型。

取值范围：

不涉及。

evaluator_turn_type

String

参数解释：

评估器轮次类型。

取值范围：

不涉及。

evaluator_content_type

String

参数解释：

评估内容类型。

取值范围：

不涉及。

is_free

Boolean

参数解释：

是否免费任务。

取值范围：

不涉及。

200

成功响应