隐态隐私的中间为空。

背景与问题

在机器学习模型部署中，直接发布内部隐藏状态会带来严重的隐私泄露风险。现有的防御思路多集中在对隐藏状态添加噪声（机制设计），尤其是基于高斯分布的发布机制。然而，论文揭示了一个根本性困境：在庞大的标准高斯机制空间中，没有一个方案能同时达到可接受的效用与隐私水平，存在一个“空中间地带”。这表明，现有方法论可能面临理论上的极限。

核心内容

1. 理论突破：证明权衡的不可能性

   • 经验发现：对1,536种高斯发布协方差进行测试，在自适应检索攻击下，没有任何一种能同时实现中等效用和中等隐私。
   • 理论证明：提出了一个费雪球下界。该定理指出，任何在固定费雪信息预算下保持中等效用的满秩高斯发布，都存在一个特定方向，其马氏距离信号强度随模型隐藏层宽度线性增长，从而被攻击者轻易利用。这从理论上解释了为何实验中观测到“空中间地带”。

2. 关键机制：对角逆Fisher机制的特殊地位

   • 研究提出了对角逆Fisher机制 $\Sigma^\star_{\mathrm{diag}}$，并证明其在一阶KL散度预算下是唯一最优的对角机制。
   • 在对抗最坏情况攻击者的评估中，该机制是唯一能在所有测试点（32个模型层）上将攻击准确率（Top-1）控制在极低水平（≤0.001）的方案。
   • 然而，该机制并未填补“空中间地带”，而是恰好位于隐私与效用的锋利边缘，代表了当前机制设计的一个理论极限。

3. 对抗攻击的颠覆性威胁

   • 自适应攻击失效：一种在欧氏距离检索攻击下能带来13倍帕累托改进的广义特征机制，在自适应马氏距离攻击下，攻击成功率飙升至100%。
   • 序列反演攻击：一种基于完整隐藏状态轨迹的反演攻击能恢复94%的原始GPT-2前缀，但在使用对角逆Fisher机制发布后，恢复率降至0%。这揭示了攻击的多样性和现有防御的脆弱性。

4. 从新路径的探索：架构与发布协同设计

   • 论文尝试了一条新路径：从零开始训练一个带有分裂记忆结构的Transformer。该模型在90M参数规模下，在隐私指标 $G_{\mathrm{Mah}}$ 上达到20-33，并在参数规模从30M扩展到1B时，始终比相同计算预算的GPT基线模型保持6到24倍的优势。
   • 这一结果证明，通过改变模型架构本身来适配隐私发布需求，比单纯优化发布机制更具潜力。

意义与影响

• 范式转变：研究将隐藏状态隐私问题的核心，从机制设计（即如何添加噪声）明确转向了架构或发布协同设计。单纯寻找“更好的”高斯噪声分布是徒劳的。
• 理论贡献：费雪球下界为评估任何高斯类机制提供了严格的理论标尺，明确了该类机制的性能上限。
• 实践警示：强调了评估隐私机制时，必须考虑强自适应攻击者。在标准攻击下有效的机制，可能在更智能的攻击下完全失效。
• 研究新方向：论文通过初步的架构协同设计实验，展示了将隐私约束内嵌到模型训练过程中的有效性，为后续研究指明了方向。预训练模型的隐私保护上限可能远低于从隐私出发设计的模型。