潜存缓存流：模型间通信无需文本

背景与问题

当前大型语言模型（LLM）通过文本进行通信，这会导致显著的延迟和信息丢失。现有解决方案如 Cache-to-Cache (C2C) 尝试通过学习适配器来交换缓存键值对（KV），但这些适配器体积庞大且训练成本高，并需要目标上下文与源上下文相同才能有效工作。这一限制使得 C2C 无法适用于具有不同背景的 LLM 之间的通信。

核心内容

为解决上述问题，作者提出了 Latent Cache Flow (LCF) 方法。首先，通过联合压缩和转换键值对来大幅度减小适配器大小；其次，设计适配器以传输目标模型未有的新信息摘要。实验结果表明，在共享上下文中 LCF 适配器的性能优于 C2C 适配器；而在不同上下文中，LCF 的准确性比文本通信提高 23%，且速度提高了 8.5 倍。

意义与影响

LCF 方法在多任务和分布式环境下具有重要的实际意义。它不仅显著减少了缓存传输所需的资源占用，还解决了现有解决方案无法处理的上下文差异问题。这种优化对于实时通信、大规模并行计算以及提高模型间协作效率至关重要。此外，通过减少不必要的信息传输，LCF 还能有效降低网络带宽需求，进一步提升整体系统性能和可扩展性。

• 关键词：Latent Cache Flow (LCF), Cache-to-Cache (C2C), 键值对适配器, 通信效率, 上下文差异