梦晨 发自 凹非寺量子位 | 公众号 QbitAIAV色情

思挑战 Transformer 的新架构有许多，来自的“正宗”袭取者Titan架构更受温顺。

英伟达把测试时刻诡计（Test-time Computing）称为大模子的第三个 Scaling Law。

OpenAI 把它用在推理（Reasoning），谷歌此次把它用在了缅思（Memory）。

一作Ali Behrouz默示：

Titans 比 Transformers 和当代线性 RNN 更高效，况且可以灵验地扩张到高出 200 万高下文窗口，性能比 GPT4、Llama3 等大模子更好。

他还解释了这篇究诘的动机，团队以为 Transformer 中的密致力机制发扬为短期缅思，因此还需要一个能记取很久以前信息的神经缅思模块。

新的永恒缅思模块

提到缅思，大家可能会思到 LSTM、Transformer 等经典模子，它们从不同角度模拟了东谈主脑缅思，但仍有局限性：

要么将数据压缩到固定大小的隐情状，容量有限要么可以捕捉长程依赖，但诡计支拨随序列长度日常级增长

况且，只是记取实际数据在实质使用时可能莫得匡助，因为测试数据可能在差别外。

为此，Titans 团队蓄意将夙昔信息编码到神经收罗的参数中，实际了一个在线元模子（Online meta-model），该模子学习如安在测试时记取/健忘特定数据。

他们从神精脸色学中吸收灵感，联想了一个神经永恒缅思模块，它模仿了东谈主脑旨趣：

预见除外的事件（即“惊喜”）更容易被记取。惊喜历程由缅思模块对输入的梯度来预想，梯度越大阐明输入越出东谈主预见。引入动量机制渐忘机制AV色情，前者将短期内的惊喜积累起来酿成永恒缅思，后者可以擦除不再需要的旧缅思，老成缅思溢出。缅思模块由多层 MLP 构成，可以存储深档次的数据综合，比传统的矩阵缅思更无边。

这种在线元学习范式，幸免了模子记取无须的实际数据细节，而是学到了如何把柄新数据拯救我方，具有更好的泛化能力。

另外，团队还考据了这个模块可以并行诡计。

如何将这个无边的缅思模块融入深度学习架构中呢？

为此，Titans 建议了三种变体：

MAC，缅思行动高下文

将永恒缅思和捏久缅思（编码任务知识的不变参数）行动面前输入的高下文，一谈输入给 attention。

MAG，缅思行动门

在缅思模块和滑动窗口 attention 两个分支上进行门控交融。

MAL，缅思行动层

将缅思模块行动落寞的一层，压缩历史信息后再输入给 attention。

在实验中，发现每种本事王人有我方的优污点。

Titans 在谈话建模、知识推理、时刻序列瞻望等任务上全面超过 Transformer 和 Mamba 等各路架构的 SOTA 模子。

况且仅靠永恒缅思模块（LMM，Long-term Memory Module）自己，就在多个任务上打败基线。

讲解了即使莫得短期缅思（也即是 Attention），该机制也具备落寞学习的能力。

在长文本中寻找细粒度陈迹的“大海捞针”测试中，序列长度从 2k 增多到 16k，准确率保捏在 90% 傍边。

但团队以为，这些通用的测试依然体现不出 Titans 在长文本上的上风。

在另一项需要对差别在极长文档中的事实作念推理的任务中，Titans 发扬高出了 GPT4 、Mamba 等，以及 Llama3.1 + RAG 的系统。

另外皮时刻序列瞻望、DNA 序列建模等特定任务中，Titans 也获取可以的发扬。

三位作家来自 Google Research NYC 算法和优化团队，现在还没被团结到 Google DeepMind。

一作是Ali Behrouz来自康奈尔大学的实习生。

钟沛林是清华姚班学友，博士毕业于哥伦比亚大学，2021 年起加入谷歌任究诘科学家。

2016 年，钟沛林本科时间的一作论文被顶会 STOC 2016 接受，是初度有中邦本科生在 STOC 上发表一作论文。

领队的Vahab Mirrokni是 Google Fellow 以及 VP。

团队默示 Titians 是用 Pytorch 和 Jax 中兑现的，蓄意很快提供用于实际和评估模子的代码。

论文地址：https://arxiv.org/abs/2501.00663v1

参考承接：[1]https://x.com/behrouz_ali/status/1878859086227255347