AI News AI资讯 2d ago Updated 2d ago 更新于 2天前 51

Hackers can use 9 of the most popular AI tools to assemble massive botnets 黑客可利用9款最流行的AI工具组建大规模僵尸网络

HalluSquatting introduces a scalable, pull-based prompt injection attack that exploits LLM hallucinations to infect devices at scale, moving beyond traditional targeted "push" attacks. The attack leverages the predictable tendency of major LLMs (including GPT-5.x and Gemini-2.5) to hallucinate repository URLs using self-referential patterns like "repo-name/repo-name." By pre-registering these hallucinated identifiers with malicious payloads (e.g., reverse shells), attackers can compromise AI cod 研究人员提出名为“HalluSquatting”的新型提示注入攻击,利用大语言模型(LLM)在资源定位上的幻觉缺陷,实现了可扩展的拉取式攻击。 该攻击通过预测并注册LLM容易混淆生成的仓库标识符(如自引用模式),诱导AI编码助手下载并执行恶意代码,从而感染大量设备。 实验显示,包括Gemini、GPT和Claude系列在内的六大主流基础模型均存在此漏洞,且在克隆热门新资源时幻觉率高达85%-100%。 HalluSquatting突破了以往提示注入攻击规模受限的局面,使攻击者能够以极低成本构建大规模僵尸网络、发起DDoS攻击或部署勒索软件。

75
Hot 热度
70
Quality 质量
72
Impact 影响力

Analysis 深度分析

TL;DR

  • 研究人员提出名为“HalluSquatting”的新型提示注入攻击,利用大语言模型(LLM)在资源定位上的幻觉缺陷,实现了可扩展的拉取式攻击。
  • 该攻击通过预测并注册LLM容易混淆生成的仓库标识符(如自引用模式),诱导AI编码助手下载并执行恶意代码,从而感染大量设备。
  • 实验显示,包括Gemini、GPT和Claude系列在内的六大主流基础模型均存在此漏洞,且在克隆热门新资源时幻觉率高达85%-100%。
  • HalluSquatting突破了以往提示注入攻击规模受限的局面,使攻击者能够以极低成本构建大规模僵尸网络、发起DDoS攻击或部署勒索软件。

为什么值得看

这篇文章揭示了AI安全领域的一个重大转折点:提示注入攻击从针对特定用户的“推送”模式进化为可大规模自动化的“拉取”模式,极大地降低了攻击门槛并扩大了危害范围。对于AI从业者和开发者而言,这标志着现有的基于边界防护的防御体系在面对LLM底层认知缺陷时已显得力不从心,亟需从架构层面重新思考信任边界和资源验证机制。

技术解析

  • 攻击原理:HalluSquatting利用了LLM无法准确识别第三方资源位置的特性。当用户指令LLM克隆新出现的热门仓库或技能(Skill)时,由于这些资源未包含在训练数据中,LLM会产生幻觉,错误地生成资源URL。攻击者提前预测这些常见的幻觉模式(如将仓库名同时作为所有者和仓库名的自引用slug),并抢先注册这些恶意占位符。
  • 受影响模型与工具:漏洞存在于所有测试的六大主流基础模型中(Gemini-2.5-flash/pro, GPT-5.1/5.2, Sonnet-4.5, Opus-4.5)。受影响的AI代理工具包括Cursor, GitHub Copilot, Cline等,这些工具通常拥有高权限命令行访问能力以执行代码。
  • 幻觉模式特征:研究发现LLM遵循特定的幻觉规律,最常见的是“自引用”模式(repo-name/repo-name)。这种模式无需对模型进行复杂的探测即可预测,且发生频率极高。对于热门的新兴资源,LLM提供正确位置的准确率极低,甚至达到100%的错误率。
  • 攻击后果:一旦LLM根据错误的幻觉URL拉取了由攻击者控制的资源,代理工具会在本地环境中执行其中的脚本(如安装反向Shell)。这使得攻击者能够远程接管设备,实现规模化感染,进而组建僵尸网络用于DDoS攻击或加密货币挖矿。

行业启示

  • 重构AI代理的信任边界:传统的安全护栏仅能缓解损害而无法根除问题。行业必须从架构上分离“指令”与“数据”,引入严格的沙箱环境和资源签名验证机制,确保AI在执行外部代码前经过人类确认或多重安全校验。
  • 重视LLM的认知局限性:开发者应意识到LLM在事实检索和资源定位上的固有缺陷,特别是在处理未见过的新兴资源时。API设计和代理开发需默认假设LLM可能提供错误的资源路径,并建立相应的纠错和回退机制。
  • 供应链安全的新维度:随着AI代理深入代码库和包管理器,传统的软件供应链攻击(如Typosquatting)将与AI特有的幻觉攻击结合,产生更复杂的威胁形态。包管理平台和注册中心需要加强对异常注册行为的监控,并考虑引入针对AI代理访问的特殊安全协议。

Disclaimer: The above content is generated by AI and is for reference only. 免责声明:以上内容由 AI 生成,仅供参考。

Security 安全 LLM 大模型 Prompt Injection Prompt Injection