创建评估任务 - CreateOpsEvaluationTask

agentarts:evaluationTask:createOpsEvaluationTask

Write

evaluationTask *

-

-

-

eval_mode

否

String

参数解释：

评估模式，指定任务是在线评估还是离线评估，影响任务的执行环境和策略。

约束限制：

字符串类型，最小长度为1，最大长度为36。

取值范围：

• OFFLINE：离线评估

• ONLINE：在线评估

默认取值：

OFFLINE。

name

否

String

参数解释：

评估任务的名称，用于标识和区分不同的评估任务，方便管理和查找。

约束限制：

字符串类型，最小长度为2，最大长度为50。

取值范围：

只能由中文字符、英文字母、数字及下划线(_)、连字符(-)、点(.)组成，长度为2~50个字符。

默认取值：

不涉及。

description

否

String

参数解释：

评估任务的描述信息，详细说明任务的目的、范围和预期结果等背景信息。

约束限制：

字符串类型，最大长度为200。

取值范围：

任意字符，长度为0~200个字符。

默认取值：

不涉及。

dataset_id

否

String

参数解释：

评测集ID，离线任务使用的数据集唯一标识符，用于指定评估的数据来源。

通过1.1-创建评测集 - CreateOpsDataset获取。

约束限制：

字符串类型，最大长度为36。

取值范围：

字符长度0-36，符合通用唯一识别码(UUID)标准的字符串。

默认取值：

不涉及。

dataset_version

否

String

参数解释：

评测集版本号，离线任务使用的评测集版本标识。

约束限制：

字符串类型，最大长度为36。

取值范围：

字符长度0-36，系统内有效的评测集版本标识。

默认取值：

不涉及。

human_read_version

否

String

参数解释：

评测集版本，离线任务使用的评测集可读版本标识。

约束限制：

字符串类型，最大长度为36。

取值范围：

字符长度0-36，如0.0.1格式。

默认取值：

不涉及。

dataset_name

否

String

参数解释：

评测集名称，离线任务使用的评测集显示名称。

约束限制：

字符串类型，最小长度为2，最大长度为100。

取值范围：

只能由中文字符、英文字母、数字及下划线(_)、连字符(-)、点(.)组成，长度为2~100个字符。

默认取值：

不涉及。

input_source_type

否

String

参数解释：

评估数据来源，指定评估数据的类型和来源，影响数据的获取方式。

约束限制：

字符串类型，最大长度为36。

取值范围：

• DATASET_DYNAMIC：动态数据集

• DATASET_STATIC：静态数据集

• TRACE_STREAM：轨迹流

默认取值：

DATASET_DYNAMIC。

input_source

否

OpsInputSource object

参数解释：

评估任务的输入源配置。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

runtime_config

否

OpsRuntimeConfig object

参数解释：

任务运行时的环境与执行策略配置。

约束限制：

不涉及。

evaluation_object_config

否

OpsEvaluationObjectConfig object

参数解释：

评估对象详细配置及其输入映射规则。

约束限制：

不涉及。

默认取值：

不涉及。

account_id

否

String

参数解释：

租户账号ID。可通过华为云控制台获取，或通过调用查询租户信息接口获取。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

domain_id

否

String

参数解释：

租户域ID。可通过华为云控制台获取，或通过调用查询租户信息接口获取。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

creator

否

String

参数解释：

创建人用户名。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

run_at

否

String

参数解释：

计划执行时间。

约束限制：

不涉及。

取值范围：

ISO 8601时间格式，长度范围为0~40。

默认取值：

不涉及。

tags

否

Array of OpsTmsTag objects

参数解释：

创建评估任务时绑定的TMS标签列表。

约束限制：

数组长度0到50。

取值范围：

不涉及。

默认取值：

不涉及。

online_config

否

OpsOnlineConfig object

参数解释：

在线任务的配置信息对象。

约束限制：

不涉及。

offline_config

否

OpsOfflineConfig object

参数解释：

离线任务的配置信息对象。

约束限制：

不涉及。

evaluator_config

是

Array of OpsEvaluatorConfigInfo objects

参数解释：

评估器的配置，数组内每个元素为OpsEvaluatorConfigInfo对象。

约束限制：

数组元素最小数量为1，最大数量为10。

span_type

是

String

参数解释：

Span类型。

约束限制：

不涉及。

取值范围：

• Trace：Trace记录

• RootSpan：根Span

• ModelSpan：模型Span

• ToolSpan：工具Span

默认取值：

不涉及。

trace_filter

否

OpsTraceFilter object

参数解释：

Trace过滤条件。

约束限制：

不涉及。

back_flow_new_data

否

OpsBackFlowNewData object

参数解释：

新数据回拉配置。

约束限制：

不涉及。

back_flow_history_data

否

OpsBackFlowHistoryData object

参数解释：

历史数据回拉配置。

约束限制：

不涉及。

total_sample_size

是

Long

参数解释：

总采样数量。

约束限制：

不涉及。

取值范围：

1~500。

默认取值：

不涉及。

sample_rate

是

Integer

参数解释：

采样率，单位：百分比(%)，按整数表示。

约束限制：

不涉及。

取值范围：

1~100。

默认取值：

不涉及。

session_timeout

否

Integer

参数解释：

会话超时时间（分钟），多轮在线评估必传。

约束限制：

不涉及。

取值范围：

1~60分钟。

默认取值：

不涉及。

and_rules

否

Array of OpsFilterRule objects

参数解释：

AND条件规则列表。

约束限制：

最多5条规则。

or_rules

否

Array of OpsFilterRule objects

参数解释：

OR条件规则列表。

约束限制：

最多5条规则。

field

是

String

参数解释：

目标字段名，支持按层级指定。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

label_name

否

String

参数解释：

标签名称，专门针对Field是人工标注时使用。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

operator

是

String

参数解释：

比较操作符。

约束限制：

不涉及。

取值范围：

• GTE：大于等于

• LTE：小于等于

• CONTAINS：包含

• NOT_CONTAINS：不包含

• IN：属于集合

• NOT_IN：不属于集合

• IS_NULL：为空

• IS_NOT_NULL：不为空

默认取值：

不涉及。

value

否

Object

参数解释：

比较的目标值，类型根据operator和field决定（数字、字符串、数组等）。

约束限制：

当operator为IS_NULL或IS_NOT_NULL时可为空。

start_time

是

Long

参数解释：

起始时间（Unix时间戳，毫秒）。

约束限制：

不涉及。

取值范围：

Unix时间戳（毫秒），必须大于0。

默认取值：

不涉及。

end_time

是

Long

参数解释：

结束时间（Unix时间戳，毫秒）。

约束限制：

不涉及。

取值范围：

Unix时间戳（毫秒），必须大于0。

默认取值：

不涉及。

cycle

是

Boolean

参数解释：

是否周期执行。

约束限制：

不涉及。

取值范围：

• true：周期执行

• false：不周期执行

默认取值：

不涉及。

schedule_type

否

String

参数解释：

调度类型。

约束限制：

不涉及。

取值范围：

• DAILY：按天

• WEEKLY：按周

默认取值：

不涉及。

schedule_interval

否

Integer

参数解释：

调度间隔，每x天或每x周执行一次。

约束限制：

不涉及。

取值范围：

1~n的整数。

默认取值：

不涉及。

execute_time_of_day

否

String

参数解释：

当天执行的时间点，例如"15:00:00"。

约束限制：

不涉及。

取值范围：

HH:mm:ss格式的时间字符串，例如"15:00:00"。

默认取值：

不涉及。

execute_day_of_week

否

Integer

参数解释：

按周执行时，在周x天执行。

约束限制：

不涉及。

取值范围：

1~7，分别表示周一至周日。

默认取值：

不涉及。

each_cycle_max_sample_count

否

Long

参数解释：

每个周期最大采样数。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

start_time

是

Long

参数解释：

起始时间（Unix时间戳，毫秒）。

约束限制：

不涉及。

取值范围：

Unix时间戳（毫秒）。

默认取值：

不涉及。

end_time

是

Long

参数解释：

结束时间（Unix时间戳，毫秒）。

约束限制：

不涉及。

取值范围：

Unix时间戳（毫秒）。

默认取值：

不涉及。

max_sample_size

是

Long

参数解释：

最大采样数量。

约束限制：

不涉及。

取值范围：

1~500。

默认取值：

不涉及。

evaluator_config

是

Array of OpsEvaluatorConfigInfo objects

参数解释：

评估器的配置，数组内每个元素为OpsEvaluatorConfigInfo对象，用于配置评估器的各项参数。

约束限制：

数组元素最小数量为1，最大数量为10。

取值范围：

不涉及。

默认取值：

不涉及。

evaluator_id

是

String

参数解释：

评估器的唯一标识符。可通过查询评估器列表接口获取。

约束限制：

1到36字符。

取值范围：

不涉及。

默认取值：

不涉及。

evaluator_version

是

String

参数解释：

评估器的版本号。

约束限制：

1到36字符。

取值范围：

不涉及。

默认取值：

不涉及。

evaluator_name

是

String

参数解释：

评估器的显示名称。

约束限制：

1到100字符。

取值范围：

不涉及。

默认取值：

不涉及。

evaluator_variable_mapping

是

Map<String,OpsEvaluatorVariableMapping>

参数解释：

变量映射字典配置，Key为变量名称（String类型，由英文字母、数字及下划线(_)组成，长度为1~100个字符），Value为变量映射配置（OpsEvaluatorVariableMapping类型，参考OpsEvaluatorVariableMapping定义）。

约束限制：

不涉及。

source

是

String

参数解释：

指定评估器变量的数据来源。

约束限制：

1到36字符。

取值范围：

• dataset：数据集来源

• agent_output：智能体输出来源

默认取值：

不涉及。

field_name

否

String

参数解释：

数据源对应的具体字段名。

约束限制：

1到200字符。

取值范围：

不涉及。

默认取值：

不涉及。

execution_time

是

Long

参数解释：

任务的预定执行时间（Unix 时间戳），单位：秒。

约束限制：

不涉及。

取值范围：

单位为秒，0-9999999999999

默认取值：

不涉及。

concurrency

否

Integer

参数解释：

任务执行的并发数配置。

约束限制：

不涉及。

取值范围：

1-100。

默认取值：

不涉及。

continue_on_exception

否

Boolean

参数解释：

异常处理策略，是否在遇到非致命异常时继续。

约束限制：

不涉及。

取值范围：

true：遇到异常时继续执行，false：遇到异常时停止执行。

默认取值：

不涉及。

agent_call_timeout_minutes

否

Integer

参数解释：

离线任务Agent调用超时时间（分钟）。

约束限制：

不涉及。

取值范围：

仅支持5/10/15/20；不传（null）时后端填充配置项默认值。

默认取值：

配置项 agent.requestTimeout。

gen_summary

否

Boolean

参数解释：

是否生成评估总结报告。

约束限制：

不涉及。

取值范围：

• true：生成总结报告

• false：不生成总结报告

默认取值：

不涉及。

id

否

String

参数解释：

评估对象的唯一标识符。可通过查询评估对象列表接口获取。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

type

否

String

参数解释：

评估对象的类型。

约束限制：

不涉及。

取值范围：

WORKFLOW：工作流类型；AGENT：智能体类型；MULTI_AGENT：多智能体类型；THIRD_PARTY_AGENT：三方托管智能体类型；AGENT_RUNTIME：智能体运行时类型。

默认取值：

不涉及。

name

否

String

参数解释：

评估对象的名称。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

version

否

String

参数解释：

评估对象的版本号。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

version_name

否

String

参数解释：

评估对象的版本名称。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

endpoint

否

String

参数解释：

智能体调用的endpoint参数，替换URL中?endpoint=的值。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

Latest。

gateway_config

否

OpsThirdPartyAgentGatewayConfig object

参数解释：

三方托管智能体的网关配置，用于控制沙箱网络访问范围。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

inputs_mapping

否

OpsEvaluationObjectConfigInputsMapping object

参数解释：

输入数据来源映射定义。

约束限制：

不涉及。

默认取值：

不涉及。

enable_public_network

否

Boolean

参数解释：

是否开启公网访问。

约束限制：

不涉及。

取值范围：

• true：开启公网访问

• false：不开启公网访问

默认取值：

true。

vpc_id

否

String

参数解释：

VPC ID。可通过虚拟私有云控制台获取，或通过调用查询VPC列表接口获取。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

subnet_id

否

String

参数解释：

子网ID。可通过虚拟私有云控制台获取，或通过调用查询子网列表接口获取。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

security_group_ids

否

Array of strings

参数解释：

安全组ID列表。可通过虚拟私有云控制台获取，或通过调用查询安全组列表接口获取。

约束限制：

非必填，不填时为空。

取值范围：

不涉及。

默认取值：

不涉及。

input

否

String

参数解释：

智能体执行时的输入参数来源字段。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

workflow_input

否

OpsEvaluationObjectConfigWorkflowInput object

参数解释：

工作流输入参数来源配置。

约束限制：

不涉及。

默认取值：

不涉及。

third_party_input

否

Map<String,String>

参数解释：

三方智能体执行时的输入参数映射，键为智能体输入参数名（String类型，由英文字母、数字及下划线()组成，长度为1~100个字符），值为数据集字段名（String类型，需与数据集Schema中定义的字段名保持一致，由英文字母、数字及下划线()组成，长度为1~100个字符）。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

query

否

String

参数解释：

工作流执行时的参数来源。

约束限制：

1到100字符。

取值范围：

不涉及。

默认取值：

不涉及。

key

否

String

参数解释：

标签键名称。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

value

否

String

参数解释：

标签值，存储该标签键对应的具体内容。

约束限制：

不涉及。

取值范围：

由任意字符组成，长度为0~256个字符。

默认取值：

不涉及。

data

String

参数解释：

创建成功的评估任务ID。

取值范围：

不涉及。

error_code

String

参数解释：

系统定义的标准化错误代码。

取值范围：

业务异常编码字符串。

error_msg

String

参数解释：

对错误的详细描述，包含异常原因或解决建议。

取值范围：

字符长度2-512，任意文本内容。

encoded_authorization_message

String

参数解释：

编码后的授权信息，用于客户端解析权限问题。

取值范围：

Base64编码的字符串。

details

Array of OpsErrorDetail objects

参数解释：

错误详情列表，包含多个子错误的详细信息。

取值范围：

不涉及。

request_id

String

参数解释：

请求的唯一标识符，用于问题排查和链路追踪。

取值范围：

符合通用唯一识别码(UUID)标准的字符串。

error_code

String

参数解释：

子错误的标准化错误代码。

取值范围：

业务异常编码字符串。

error_msg

String

参数解释：

对子错误的详细描述。

取值范围：

任意文本内容。

200

创建任务成功

400

请求错误