CO-LMLM introduit des modèles de langage à mémoire limitée par requête continue

Les auteurs proposent les Continuous-Query Limited Memory Language Models (CO-LMLM), un paradigme qui externalise les connaissances factuelles vers une base de connaissances (KB) en utilisant des clés continues associées à des valeurs textuelles, s'éloignant des approches KB relationnelles antérieures. Cette conception permet au modèle de générer des requêtes vectorielles flexibles à un coût minimal tout en intégrant des connaissances récupérées lisibles par l'homme et attribuables lors de la génération.

• CO-LMLM utilise un pipeline d'annotation qui étiquette les segments factuels libres dans n'importe quel texte, supprimant les restrictions à Wikipedia trouvées dans les travaux précédents.
• Le modèle a été pré-entraîné sur Wikipedia et FineWeb-Edu à plusieurs échelles.
• À l'échelle de 360M, CO-LMLM atteint une perplexité inférieure à celle des modèles pré-entraînés sur 40x plus de données.
• Sur la vérification SimpleQA, les performances égalent gpt-4o-mini et dépassent Claude Sonnet 4.5.

CO-LMLM surpasse les LMLMs antérieurs et les LLMs vanilla tant en perplexité qu'en précision factuelle, offrant des capacités de contrôle des connaissances au-delà des grands modèles de langage conventionnels.