Les auteurs proposent MILES (Modular Instruction Memory with LEarnable Selection), un cadre conçu pour améliorer le raisonnement des grands modèles de langage lors de l'inférence en accumulant dynamiquement une expérience réutilisable à travers des problèmes séquentiels. Contrairement aux méthodes existantes qui stockent des modèles rigides ou utilisent une sélection heuristique, MILES maintient des unités de mémoire modulaires composées de paires asymétriques d'embeddings de sous-objectifs et de sous-instructions, chacune associée à une tête de sélection apprenable.
- Le cadre emploie un mécanisme de récupération du grossier au fin où le niveau grossier permet l'expansion de la mémoire et collecte des signaux de supervision à partir d'échantillons confiants.
- L'étape fine applique les têtes de sélection apprises pour reranker les candidats et guider le raisonnement pour les échantillons incertains.
- Cette approche permet une expansion incrémentale de la mémoire dans des contraintes réalistes de test avec une supervision limitée.
Des expériences approfondies démontrent que MILES correspond constamment ou surpasse les méthodes antérieures tout en atteignant des compromis précision-efficacité supérieurs, ainsi qu'une robustesse et une transférabilité accrues.