更新时间:2026-04-15 GMT+08:00
分享

新建评估器 - CreateOpsEvaluator

功能介绍

该接口用于在系统中注册并创建一个新的评估器(Evaluator),通过定义具体的评估逻辑、判分准则及参数配置,为模型输出的质量度量提供标准化工具。

适用场景:

  • 自定义评价体系构建:针对特定业务领域(如法律、医疗),创建符合行业规范的判分插件或规则脚本。

  • 评测流程标准化:预设通用的评估模板(如准确率、相关性、毒性检测),实现多模型间的横向对比。

URI

POST /v1/ops/evaluators

请求参数

表1 请求Header参数

参数

是否必选

参数类型

描述

Content-Type

String

参数解释:

消息体编码格式。用于告知服务端请求体(Body)所采用的主体数据类型,以便服务端正确解析。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

application/json

Authorization

String

参数解释:

签名认证信息,当使用AK/SK方式认证时,使用SDK对请求进行签名的过程中会自动填充该字段。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

X-Sdk-Date

String

参数解释:

请求发送的时间,当使用AK/SK方式认证时,使用SDK对请求进行签名的过程中会自动填充该字段。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

表2 请求Body参数

参数

是否必选

参数类型

描述

evaluator_type

Integer

参数解释:

评估器的核心执行模式。

约束限制:

int32 格式。

取值范围:

  • 1: 模型评估器(LLM 裁判)

  • 2: 代码评估器(脚本逻辑)

默认取值:

不涉及。

current_version

EvaluationOpsCurrentVersion object

参数解释:

该评估器的初始版本具体配置。

约束限制:

符合 EvaluationOpsCurrentVersion定义。

取值范围:

对象结构。

默认取值:

不涉及。

name

String

参数解释:

评估器的业务名称。

约束限制:

长度 0到10000字符。

取值范围:

中英文及特殊字符。

默认取值:

不涉及。

description

String

参数解释:

对该评估器的功能逻辑和判定准则的详细文字补充。

约束限制:

长度 0到10000字符。

取值范围:

任意字符串。

默认取值:

不涉及。

表3 EvaluationOpsCurrentVersion

参数

是否必选

参数类型

描述

description

String

参数解释:

当前版本的详细描述信息。

约束限制:

0到10000字符。

取值范围:

不涉及。

默认取值:

不涉及。

evaluator_content

Object

参数解释:

评估器的核心配置JSON内容。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

version

String

参数解释:

评估器的版本标识符。

约束限制:

0到10000字符。

取值范围:

不涉及。

默认取值:

不涉及。

响应参数

状态码:200

返回创建评估器成功

请求示例

创建一个新的评估器

POST https://*.com/agentarts/v1/ops/evaluators

{
  "evaluator_type" : 1,
  "current_version" : {
    "description" : "description",
    "evaluator_content" : { },
    "version" : "v1.0.0"
  },
  "name" : "正确性评估",
  "description" : "评估提交的内容是否正确、准确、真实,并完整覆盖核心要点。"
}

响应示例

状态码:200

返回创建评估器成功

{
  "body" : {
    "evaluator_id" : "7ebc91e2-2380-4072-a503-6b20888abb08"
  }
}

状态码

状态码

描述

200

返回创建评估器成功

错误码

请参见错误码

相关文档