Un chercheur a publié Qllm, une nouvelle architecture de grand modèle linguistique qui atteint un temps d'inférence O(1) en éliminant le besoin d'un cache clé-valeur (KV). Le modèle de 100M paramètres est construit sur l'associativité de phase et ne repose pas sur des structures de transformateur ou de mamba.
- Le modèle utilise une nouvelle architecture basée sur l'associativité de phase pour permettre une inférence à temps constant indépendamment de la longueur de la séquence.
- Il a été entraîné sur 4B tokens provenant des ensembles de données DCLM, Fineweb et Smoltalk2, avec un pré-entraînement initial de 1B token pour la grammaire.
- Le projet comprend le code open-sourcé et un checkpoint Hugging Face pour la variante qllm-pam-v11-e3k3-chat.
Les auteurs émettent l'hypothèse que cette architecture pourrait performer particulièrement bien pour les modèles vocaux en raison de sa conception, bien qu'elle soit actuellement positionnée comme une preuve de concept.