最近，我会被迫思考AI的根本性局限。就像电影《记忆碎片》的主人公一样，有人说当前的LLM可能也陷入了一种前向性健忘症。

如果参数始终固定不变，那么模型就无法从新的经验中真正意义上进行学习。我们试图通过聊天记录或搜索系统来弥补，但这最终只是依赖外部记忆，并没有实现内面化。

根据a16z的分析，文脉内学习（ICL）不过是搜索而已，并不是真正的学习。由于缺乏压缩，它无法应对创造性的发现或对抗性的情境。比如，对那些从根本上需要全新方法的问题——例如像《费尔马最后定理》证明那样——LLM只能做到把既有知识进行组合。

研究者们提出的解决方案有三条路径。第一条是强化上下文层，比如多智能体系统。第二条是模块化，即适配器、以及压缩KV缓存这样的知识模块，把它们集成进现有架构中。第三条是权重更新，通过测试时训练或元学习，实现参数层面的真正学习。

不过，权重更新面临大量挑战：灾难性遗忘、时间上的解耦，以及安全对齐的退化。模型在部署后的更新不只是技术问题，还牵涉到可审计性和隐私问题。

未来的系统可能会变得分层：ICL负责快速适应，模块实现专业化，权重更新则能让更深层的内面化成为可能。要从前向性健忘中摆脱出来，并不只是扩展一个文件柜，而是需要压缩与抽象，以及真正的学习机制。

在这个领域，越来越多的初创公司正在涌入，各个层面都在推进实验：包括上下文管理、模块设计和参数优化。尽管目前还看不到决定性的胜者，但未来几年很可能会发生重大变化。