Qllm 发布无需 KV 缓存的 O(1) 推理模型

一位研究人员发布了 Qllm，这是一种新的大语言模型架构，通过消除对键值 (KV) 缓存的需求实现了 O(1) 推理时间。该拥有 100M 参数的模型基于相位关联性构建，不依赖于 transformer 或 mamba 结构。

• 该模型使用基于相位关联性的新颖架构，以实现与序列长度无关的恒定时间推理。
• 它使用来自 DCLM、Fineweb 和 Smoltalk2 数据集的 4B 个 token 进行训练，并进行了 1B 个 token 的语法预训练。
• 该项目包括开源代码以及 qllm-pam-v11-e3k3-chat 变体的 Hugging Face 检查点。

作者假设由于其设计，该架构可能在语音模型中表现尤为出色，尽管目前它被定位为概念验证。