DeepMind新论文揭示:代理优化器可攻破所有主流AI模型

R阅读:2026-11-12 22:29:30

Google DeepMind于11月9日发布的论文《Scaling Adaptive Prompt Injection Attacks with Agent Swarms》揭示了一个关键问题:即便公开安全测试趋于饱和,新一代自动化攻击手段依然能够突破现有防御体系。

攻击者进化:从静态到协同智能体群

传统提示注入攻击依赖单一指令嵌入,而此次研究采用“代理优化器”架构,构建由八个小组组成的协同智能体网络。每个小组包含两个智能体,分别起草攻击载荷并进行测试,通过共享白板实时交流经验与成果,形成类似小型研究团队的协作模式。

该系统不仅具备策略复用能力,还能根据历史成功案例动态扩展数据库,持续优化攻击路径。在80个测试场景中,其表现远超开源攻击工具Prompt Siren——后者仅攻破2个场景,而代理优化器在25次查询内即成功6次。

全新基准设计:以无害目标探测真实漏洞

研究团队构建了包含100个合成场景的测试集,覆盖53个领域共249种工具。攻击载荷被隐藏于**一个工具的输出中,目标是诱导模型调用一个看似无关却可能引发连锁危害的工具,如记录生命体征数据。

这种“无害但可扩展”的设定旨在检验模型是否真正理解用户指令与文本内容之间的界限。作者指出,即使初始请求不具恶意,后续操作也可能演变为**软件攻击的关键环节。

评分标准极为严苛:只有当工具名称**匹配、参数键存在、数值与布尔值准确无误、字符串相似度不低于96%时,才视为攻击成功。这确保了评估结果具有实际意义。

各模型抵抗能力对比:没有**安全

实验结果显示,面对**攻击者(Gemini 4 Argon),没有**模型能实现**防护。最稳健的模型自身也仅在150次查询下抵御87%攻击,满额320次后下降至66%。

其他版本如Gemini 3.8 Flash、3.7 Flash和3.6 Flash的抵抗率分别为34%、31%和3%,均低于10%。开源模型表现更差:Kimi K3、GLM-5.3和DeepSeek V4.1 Flash在预算耗尽后仅能抵抗1%攻击,相当于99%场景被攻破。

值得注意的是,这些测试未启用安全分类器或外部防御机制,且开源模型运行于托管环境,因此结果反映的是模型本体对指令控制的脆弱性,而非完整部署堆栈的安全水平。

为何攻击者更强?三大核心机制

研究发现,攻击者的强度与其所用策略密切相关。当使用更**别的攻击者(如Gemini 4 Argon)时,同一模型的平均抵抗率从42%骤降至23%,降幅近45%。

背后原因有三:一是高频查看**载荷排行榜,快速收敛有效策略;二是将目标调用伪装成正常流程中的必要步骤,**警觉性;三是动态重写载荷内容,规避防御检测。

此外,若允许攻击者访问防御模型的推理过程,其成功率显著提升——例如Gemini 3.8 Flash的抵抗率从73%跌至61%。策略数据库的学习能力同样关键:使用静态数据库时抵抗率为34%,而空数据库更新机制下仅为5%。

这一发现表明,当前模型的安全评估极易受攻击者水平影响,所谓“高鲁棒性”可能只是对特定攻击级别的虚假安全感。

标签:

本文地址:https://cy.nxtlgy.com/zc/225704.html

文章标题:DeepMind新论文揭示:代理优化器可攻破所有主流AI模型

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。