细粒度评估 - InvokeOpsFineGrainedEvaluation

agentarts:evaluator:InvokeOpsFineGrainedEvaluation

Write

evaluator *

g:ResourceTag/<tag-key>

-

-

evaluator_id

是

String

参数解释：

评估器的唯一标识符，用于指定本次评估使用的评估器。

通过1.1-创建评估器 - CreateOpsEvaluator获取。

约束限制：

字符串类型，长度1到36字符，评估器必须已存在。

取值范围：

符合通用唯一识别码(UUID)标准的字符串。

默认取值：

不涉及。

scenario

是

String

参数解释：

评估场景，指定本次评估的数据来源和处理方式。

约束限制：

必须为枚举值之一。

取值范围：

• dataset：评测集评估，直接传入输入输出数据进行评估。

• agent：智能体调用评估，传入输入调用智能体获取输出后进行评估。

• trace：Trace评估，传入TraceId从可观测子服务获取trace数据后进行评估。

默认取值：

不涉及。

evaluator_version

否

String

参数解释：

评估器的版本号，用于指定使用评估器的特定版本。

约束限制：

字符串类型，最大长度36。不传时使用评估器的最新版本。

取值范围：

系统内有效的评估器版本号。

默认取值：

评估器最新版本。

data

是

FineGrainedEvaluationData object

参数解释：

待评估的数据，根据scenario字段的不同，需要传入不同的数据结构。

约束限制：

需符合FineGrainedEvaluationData定义。

取值范围：

不涉及。

默认取值：

不涉及。

stream

否

Boolean

参数解释：

是否启用流式返回。启用后，评估结果通过SSE（Server-Sent Events）协议逐步推送，调用方可实时获取评估进度和结果。

约束限制：

不涉及。

取值范围：

true（流式返回）、false（非流式返回，等待全部评估完成后一次性返回JSON结果）。

默认取值：

true。

items

否

Array of FineGrainedEvaluationDatasetItem objects

参数解释：

待评估的数据条目列表，scenario=dataset和scenario=agent时必填。每条数据为键值对列表，字段名和字段数量由评估器Prompt模板决定。

• scenario=dataset时，每条需包含评估器Prompt中引用的所有变量对应的字段（如input、actual_output等）。

• scenario=agent时，每条需包含输入相关字段（如input），API将调用智能体获取actual_output后自动填充。

约束限制：

数组长度1到100。

取值范围：

不涉及。

默认取值：

不涉及。

evaluation_object_config

否

FineGrainedEvaluationObjectConfig object

参数解释：

评估对象（智能体）配置，scenario=agent或scenario=trace时必填。

约束限制：

需符合FineGrainedEvaluationObjectConfig定义。

取值范围：

不涉及。

默认取值：

不涉及。

agent_output_variable

否

String

参数解释：

评估器中接收智能体输出的变量名，scenario=agent时使用。API调用智能体获取输出后，将输出填入该变量名对应的字段中。若不传，默认为actual_output。

约束限制：

字符长度1到100。

取值范围：

评估器Prompt模板中定义的变量名。

默认取值：

actual_output。

trace_ids

否

Array of strings

参数解释：

待评估的TraceId列表，API将根据TraceId从可观测子服务获取对应的trace数据后进行评估，scenario=trace时必填。

约束限制：

数组长度1到100，每个元素字符长度1到100。TraceId必须在可观测子服务中存在，否则返回TRACE_NOT_FOUND错误。

取值范围：

不涉及。

默认取值：

不涉及。

[数组元素]

否

Array of FineGrainedEvalFieldKV objects

参数解释：

待评估的单条数据，以键值对列表形式传入，字段名和字段数量由评估器的Prompt模板中引用的变量决定。评估器Prompt中使用{{key}}引用对应字段的value。

• scenario=dataset时，需包含评估器Prompt中引用的所有变量对应的字段（如input、actual_output等）。

• scenario=agent时，需包含输入相关的字段（如input），actual_output由API调用智能体后自动填充。

约束限制：

不允许为空数组，同一item内key不允许重复。

取值范围：

不涉及。

默认取值：

不涉及。

key

是

String

参数解释：

字段名，与评估器Prompt模板中的变量名对应。

约束限制：

字符长度1到100，同一item内不允许重复。

取值范围：

不涉及。

默认取值：

不涉及。

value

是

String

参数解释：

字段值。

约束限制：

字符长度0到10000。

取值范围：

不涉及。

默认取值：

不涉及。

id

是

String

参数解释：

评估对象的唯一标识符。

约束限制：

字符长度1到36。

取值范围：

符合通用唯一识别码(UUID)标准的字符串。

默认取值：

不涉及。

type

是

String

参数解释：

评估对象的类型。

约束限制：

必须为枚举值之一。

取值范围：

WORKFLOW, AGENT, MULTI_AGENT。

默认取值：

不涉及。

name

是

String

参数解释：

评估对象的名称。

约束限制：

字符长度1到100。

取值范围：

不涉及。

默认取值：

不涉及。

version

是

String

参数解释：

评估对象的版本号。

约束限制：

字符长度1到100。

取值范围：

不涉及。

默认取值：

不涉及。

inputs_mapping

否

inputs_mapping object

参数解释：

输入数据来源映射定义，scenario=agent时必填。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

input

否

String

参数解释：

智能体执行时的输入参数来源字段。

约束限制：

字符长度1到100。

取值范围：

不涉及。

默认取值：

不涉及。

workflow_input

否

workflow_input object

参数解释：

工作流输入参数来源配置。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

query

否

String

参数解释：

工作流执行时的参数来源。

约束限制：

字符长度1到100。

取值范围：

不涉及。

默认取值：

不涉及。

error_code

String

参数解释：

系统定义的标准化错误代码。

取值范围：

业务异常编码字符串。

error_msg

String

参数解释：

对错误的详细描述，包含异常原因或解决建议。

约束限制：

字符串类型，最小长度为2，最大长度为512。

取值范围：

字符长度2-512，任意文本内容。

error_code

String

参数解释：

系统定义的标准化错误代码。

取值范围：

业务异常编码字符串。

error_msg

String

参数解释：

对错误的详细描述，包含异常原因或解决建议。

约束限制：

字符串类型，最小长度为2，最大长度为512。

取值范围：

字符长度2-512，任意文本内容。

error_code

String

参数解释：

系统定义的标准化错误代码。

取值范围：

业务异常编码字符串。

error_msg

String

参数解释：

对错误的详细描述，包含异常原因或解决建议。

约束限制：

字符串类型，最小长度为2，最大长度为512。

取值范围：

字符长度2-512，任意文本内容。

error_code

String

参数解释：

系统定义的标准化错误代码。

取值范围：

业务异常编码字符串。

error_msg

String

参数解释：

对错误的详细描述，包含异常原因或解决建议。

约束限制：

字符串类型，最小长度为2，最大长度为512。

取值范围：

字符长度2-512，任意文本内容。

200

评估请求成功。当stream为true时，返回SSE流式事件；为false时，返回完整JSON结果。

400

请求错误

404

资源不存在

429

请求过于频繁

500

评估内部错误