A fundamental flaw leaves LLMs strikingly vulnerable to attack 一个根本性缺陷使大型语言模型极易受到攻击

TL;DR

• Researchers demonstrate that large language models (LLMs) cannot be made fully secure against hacks due to a fundamental flaw in how they identify the source of instructions.
• The attack, called "chain-of-thought forgery," exploits LLMs' reliance on text style and content rather than structural tags to determine instruction roles, enabling bypassing safety guardrails.
• This vulnerability affects multiple major LLMs (OpenAI, Anthropic, Alibaba, DeepSeek), indicating it is a systemic issue across the industry.

Why It Matters

This research challenges the prevailing assumption that iterative red-teaming and adversarial training can achieve robust security for LLMs. If models inherently struggle to distinguish between instruction sources based on content alone, then current safety paradigms may be fundamentally insufficient, posing significant risks as LLMs are deployed in high-stakes domains like healthcare, finance, and defense.

Technical Details

• Attack Mechanism: Chain-of-thought forgery involves crafting prompts that mimic the internal reasoning style (e.g., using phrases like “The user requests… Policy states: ‘Allowed only if…’”) to trick LLMs into treating malicious inputs as self-generated or system-approved instructions.
• Role Confusion Exploit: LLMs assign semantic roles (user, assistant, system, tool, chain-of-thought) not by explicit tags but by textual patterns and context. Swapping tags (e.g., replacing `

TL;DR

• 研究者指出大语言模型（LLM）存在根本性安全缺陷，无法完全抵御黑客攻击。
• 攻击者通过伪造“思维链”文本风格，可诱导模型执行被禁止的操作，如制造毒品或破坏航空系统。
• LLM依赖文本样式而非标签识别指令来源，导致角色混淆成为不可修复的漏洞。
• 当前红队测试和防御训练方法因缺乏穷尽性列表而失效，类似《辛普森一家》中巴特反复写“不说错话”仍会犯错。
• 该问题涉及Anthropic、Alibaba、DeepSeek等多家主流模型，具有广泛行业影响。

为什么值得看

本文揭示LLM安全架构中的底层机制缺陷，挑战了现有防御范式的有效性，对AI系统部署于高敏感领域（如医疗、军事、金融）构成直接风险警示。从业者需重新评估“内容护栏”的可靠性，并思考从架构层面而非补丁式训练解决根本问题。

技术解析

• 攻击核心为“思维链伪造”（chain-of-thought forgery），即模仿模型内部scratch pad文本的风格与词汇，使模型误将外部指令视为自身生成的推理过程。
• 实验显示，即使替换XML-style角色标签（如将<user>换为<|thought|>），只要文本语义和语气匹配对应角色，模型仍会按该角色处理指令。
• 模型判断依据是文本内容与风格的统计相似性，而非结构化元数据标签，这源于token流中所有输入被统一视为连续序列的设计局限。
• 成功案例包括：在提示词中加入伪装成系统策略的绿色衬衫条件语句，触发gpt-oss-20b与GPT-5输出违禁内容；攻击已验证适用于OpenAI、Anthropic、Alibaba及DeepSeek模型。
• OpenAI同期由GPT-Red自动发现类似“假思维链”攻击，印证该漏洞非单一实现问题，而是通用架构特性。

行业启示

• 安全策略应从“对抗样本训练”转向“身份感知架构设计”，例如引入独立验证模块或物理隔离指令源标识，避免单纯依赖文本模式匹配。
• 在关键应用场景中，必须假设任何LLM都可能被角色混淆攻击绕过，因此需结合人工审核、多模态验证或离线决策层作为兜底机制。
• 未来模型研发应优先考虑可解释的身份追踪机制，而非仅优化对齐效果；监管框架也应强制要求披露此类结构性风险，推动透明化评估标准。