Your AI Doesn’t Forget. It Just Runs Out of Space. 你的AI不会忘记，它只是空间不足。

TL;DR

• 揭示了LLM对话记忆的本质是应用层不断重传完整历史，而非模型拥有持久记忆，最终受限于上下文窗口大小。
• 详细对比了三种处理长对话上下文溢出的策略：固定消息数量截断、基于Token预算的动态截断、以及旧对话摘要化。
• 提供了具体的代码实现逻辑，包括Token估算函数、反向遍历保留最新信息的算法以及调用本地模型进行对话摘要生成的流程。
• 提出了“先摘要后截断”的混合架构，当对话超过阈值时优先尝试将早期历史压缩为摘要，失败则回退到Token截断。

为什么值得看

对于构建聊天机器人或长期交互应用的开发者而言，理解上下文窗口的局限性及内存管理机制至关重要，这直接关系到用户体验的连贯性。本文提供的从简单计数到智能摘要的渐进式解决方案，为平衡成本、性能与记忆保持能力提供了实用的工程参考。

技术解析

• 上下文窗口机制：明确区分了“上下文丢失”（因窗口满而丢弃旧信息）与“幻觉”（模型编造信息）。指出GPT-4o等模型虽有大窗口（如128K），但长对话仍会迅速消耗Token，导致早期信息被静默丢弃。
• 基础截断方案（Fix 1 & 2）：介绍了两种基础方法。Fix 1仅保留最后N条消息，实现简单但忽略消息长度差异；Fix 2引入Token计数器，根据系统提示词占用的Token剩余空间，从新到旧累加消息直到达到预算上限，更精准地控制输入大小。
• 高级摘要方案（Fix 3）：当对话超过设定阈值（如10条消息）时，不再直接丢弃旧消息，而是调用另一个LLM（如Llama 3.1）将前半部分对话总结为3-5句话的关键事实摘要，并将摘要置于最新对话之前，从而在有限窗口内保留长期记忆。
• 混合架构实现：最终通过buildContextHistory函数整合上述逻辑。优先执行摘要生成以保留关键上下文，若摘要生成失败或不可用，则回退到基于Token的动态截断策略，确保系统的鲁棒性。

行业启示

• 工程化思维优于单纯依赖模型能力：随着大模型上下文窗口不断扩大，开发者不应假设“无限记忆”是默认行为，而应在应用层设计健壮的上下文管理策略，以应对不同模型的限制。
• 成本与体验的权衡：摘要生成虽然能提升长期记忆效果，但增加了额外的API调用成本和延迟。在实际产品中，需根据业务场景（如客服vs.创意写作）灵活选择截断或摘要策略，或采用分层缓存机制优化成本。
• 标准化上下文管理库的需求：目前此类逻辑多由开发者手动实现，行业亟需标准化的SDK或中间件来统一处理Token计算、滑动窗口、摘要生成和错误回退，降低开发复杂度并提高一致性。