CO-LMLM introduit des modèles de langage à mémoire limitée avec requêtes continues

Les auteurs proposent CO-LMLM, un modèle de langage à mémoire limitée qui externalise les connaissances factuelles vers une base de connaissances associant des clés continues à des valeurs textuelles. Cette conception permet au modèle de générer des requêtes vectorielles flexibles à un coût minimal tout en intégrant des connaissances récupérées lisibles par l'homme et attribuables.

• Le système utilise un pipeline d'annotation qui étiquette les segments factuels libres dans n'importe quel texte, supprimant les restrictions précédentes à Wikipedia.
• CO-LMLM a été pré-entraîné sur Wikipedia et FineWeb-Edu à plusieurs échelles de modèle.
• À l'échelle 360M, il atteint une perplexité inférieure à celle des modèles pré-entraînés sur 40 fois plus de données.
• Il atteint des performances vérifiées par SimpleQA alignées avec gpt-4o-mini et supérieures à celles de Claude Sonnet 4.5.

CO-LMLM surpasse les précédents modèles de langage à mémoire limitée et les grands modèles de langage standards tant en perplexité qu'en précision factuelle.