AI风险概览
操作场景
AI风险概览实时为您呈现大模型合规态势,支持大模型的数据语料风险运营、推理业务风险运营和环境安全风险运营,实时呈现大模型的风险概览,助您识别大模型风险和潜在威胁。通过控制台“AI风险概览”为您呈现推理安全、语料安全、环境安全的风险态势。
- 推理安全:基于WAF攻击日志和访问日志,分析呈现大模型接口的调用请求次数、调用请求命中防护策略数、以及命中防护策略数排名前5的推理模型域名和数量、提示词注入的攻击分布、推理模型攻击类型分布等。
- 语料安全:基于DSC告警日志,分析呈现大模型中的语料风险类别和数量、TOP5语料风险资产分布等。
- 环境安全:基于安全云脑基线检查、漏洞管理、告警管理功能,分析呈现当前工作空间的TOP5合规检查风险、TOP5漏洞风险、TOP5告警和最近攻击列表。
前提条件
查看AI风险概览
- 登录安全云脑 SecMaster控制台。
- 单击管理控制台左上角的
,选择区域和项目。
- 在页面左上角单击
,选择“安全与合规 > 安全云脑 SecMaster”,进入安全云脑管理页面。
- 在左侧导航栏选择
,并在工作空间列表中,单击目标工作空间名称,进入目标工作空间管理页面。图1 进入目标工作空间管理页面
- 在左侧导航栏选择 ,进入AI风险概览页面。
- 在AI风险概览页面,可查看以下信息:
表1 AI风险概览界面参数说明 模块
参数名称
参数说明
统计时间
统计时间
支持用户选择或自定义查看的概览的时间,支持选择范围如下:
- 近24小时
- 近3天
- 近7天
- 近30天
- 自定义:用户自定义起止时间范围。
推理安全
推理安全风险汇总
推理安全模块呈现所设置的统计时间周期内大模型推理业务风险运营的结果:
- 请求总数:WAF请求日志中大模型接口调用的请求次数总和。
- 命中防护策略数:WAF攻击日志中告警类型为提示词注入攻击、提示词内容合规、响应内容合规数量总和。
- 提示词注入攻击次数:WAF攻击日志中提示词攻击数量总和。
- 提示词内容合规次数:WAF攻击日志中提示词内容合规数量总和
- 响应内容合规次数:WAF攻击日志中响应内容合规次数总和。
请求趋势
请求趋势呈现“总请求数”和“命中防护策略数”指标随时间的变化趋势,实时更新。其中
- 总请求数:WAF请求日志中大模型接口调用的请求数量。
- 命中防护策略数:WAF攻击日志中告警类型为提示词注入攻击、提示词内容合规、响应内容合规数量总和。
TOP5资产风险分布
WAF攻击日志中,根据推理模型域名分组求和,展示命中防护策略数中排名前5的推理模型域名及数量。
提示词注入攻击分布
WAF攻击日志中提示词注入攻击类型为越狱攻击、提示词泄露、角色扮演、不安全的指令话题、不安全的观点、反向诱导、政治敏感、合规敏感、个人隐私数据的分类数量统计。
大模型攻击类型分布
WAF攻击日志中告警类型为提示词注入、提示词内容合规、响应内容合规三种类型的告警分类数量统计。
语料安全
TOP5语料资产风险分布
DSC攻击日志中根据上报告警的OBS桶ID分组求和,展示前5的桶名及数量。
文本风险类别
DSC攻击日志中文本风险类型为个人隐私敏感、内容合规敏感类型、来源或版权不合规三种类型的分类数量统计。
环境安全
TOP5合规检查
按照合规检查受影响资产数量排序,呈现TOP5影响资产数最多的5个不合规风险项。
TOP5漏洞风险
按照漏洞的风险等级排序展示用户设定的AI风险概览“统计时间”内的TOP5漏洞,若漏洞的风险等级相同则按照漏洞名称排序。
TOP5告警
按照告警的发现时间展示最近发生的5个告警。
最近攻击清单
基于用户设定的AI风险概览“统计时间”展示攻击列表。
攻击就是原始的7层防线告警;七层防线的介绍请参见策略管理概述。