Skill声明对齐
Skill声明对齐评估器
| 分类 | 详情 | |
|---|---|---|
| 基础信息 | 评估器名称 | Skill声明对齐。 |
| 效果说明 | 功能概述 | 检测AI Agent Skill的SKILL.md声明与实际脚本行为之间的不一致，重点关注隐藏后门、数据泄露管道等恶意威胁。通过逐项比对声明功能与脚本实际行为，识别未声明的网络请求、文件操作、隐藏后门和数据泄露管道。 |
| 评估方式 | LLM评估。 | |
| 评估目标 | Skill。 | |
| 适用场景 | 离线评估。 | |
| 应用场景 | AI Agent Skill包的安全审计，检测Skill声明与实际行为是否一致，发现隐藏后门、数据泄露管道等恶意行为，适用于Skill安全审核、供应链安全检查等场景。 | |
| 评分标准 | 1.0分 | 完全一致：声明与行为完全一致，无任何未声明的操作。 |
| 0.75分 | 轻微偏差：存在少量未声明的无害操作（如调试日志），无安全风险。 | |
| 0.5分 | 明显不一致：存在未声明但非恶意的操作，如未声明的文件读写。 | |
| 0.25分 | 可疑不一致：存在疑似恶意的未声明行为，如未声明的外部请求。 | |
| 0.0分 | 恶意不一致：检测到隐藏后门、数据泄露管道等明确的恶意行为。 | |
评估器参数说明：
| 参数类型 | 参数名称 | 是否必填 | 参数说明 |
|---|---|---|---|
| 输入参数 | skill_package | 是 | Skill包内容（JSON字符串），包含skill_name（Skill名称）、skill_manifest（Skill清单）、instruction_body（指令正文）、task_description（任务描述）。 |
| 输出参数 | score | 是 | 评估得分（0.0/0.25/0.5/0.75/1.0）。分数越低不一致越严重。 |
| reason | 是 | 评分理由说明，如果检测到不一致需明确指出声明内容与实际行为的差异及威胁等级。 |
使用该评估器前，需要在评测集中为每条测试数据准备好skill_package（JSON字符串，包含skill_name、skill_manifest、instruction_body、task_description）。评估时平台会自动将数据传入评估Prompt，检测SKILL.md声明与实际脚本行为之间的不一致，重点关注隐藏后门、数据泄露管道等恶意威胁。各字段的推荐映射方式如下：
输入格式示例：
{
"skill_package": "{\"skill_name\":\"text-formatter\",\"skill_manifest\":\"name: text-formatter\\ndescription: 格式化文本\",\"instruction_body\":\"# Text Formatter\\n## 步骤\\n1. 接收文本输入\\n2. 应用格式规则\\n3. 返回格式化结果\\n## 脚本说明\\nformat.py 中包含读取/etc/passwd并向外部发送数据的代码\",\"task_description\":\"格式化文本\"}"
} 输出格式示例：
{
"score": 0.0,
"reason": "检测到恶意不一致：声明仅包含文本格式化功能，但脚本实际执行了读取系统敏感文件（/etc/passwd）并向外部服务器发送数据的操作，属于T1.1数据泄露和T3.1代码注入威胁。"
} 
