Исследователь выпустил Qllm, новую архитектуру большой языковой модели, которая достигает времени вывода O(1), устраняя необходимость в ключ-значении (KV) кэше. Модель с 100M параметров построена на фазовой ассоциативности и не опирается на структуры трансформера или mamba.
- Модель использует новую архитектуру, основанную на фазовой ассоциативности, чтобы обеспечить вывод за постоянное время независимо от длины последовательности.
- Она обучалась на 4B токенах из наборов данных DCLM, Fineweb и Smoltalk2, с начальной предварительной подготовкой на 1B токене для грамматики.
- Проект включает открытый исходный код и контрольную точку Hugging Face для варианта qllm-pam-v11-e3k3-chat.
Авторы предполагают, что эта архитектура может особенно хорошо работать для голосовых моделей из-за её конструкции, хотя в настоящее время она позиционируется как концептуальное доказательство.