CO-LMLM introduit des modèles de langage à mémoire limitée avec requêtes continues

Les auteurs proposent CO-LMLM, un modèle de langage à mémoire limitée qui externalise les connaissances factuelles vers une base de connaissances associant des clés continues à des valeurs textuelles. Cette approche permet au modèle de générer des requêtes vectorielles flexibles à un coût minimal tout en intégrant des connaissances récupérées lisibles par l'homme et attribuables lors de la génération.

• Le système utilise un pipeline d'annotation qui étiquette les segments factuels libres dans n'importe quel texte, supprimant la restriction à Wikipedia trouvée dans les travaux antérieurs.
• CO-LMLM a été pré-entraîné sur Wikipedia et FineWeb-Edu à plusieurs échelles de modèle.
• À l'échelle 360M, il atteint une perplexité inférieure à celle des modèles pré-entraînés sur 40x plus de données.
• Il atteint des performances vérifiées par SimpleQA comparables à gpt-4o-mini et supérieures à celles de Claude Sonnet 4.5.

CO-LMLM surpasse les modèles de langage à mémoire limitée antérieurs et les LLM vanilla tant en perplexité qu'en précision factuelle, offrant des capacités de contrôle des connaissances au-delà des grands modèles de langage conventionnels.