Les chercheurs présentent les Modèles de Langage à Passage de Messages (MPLMs), un cadre permettant aux threads de grands modèles de langage de communiquer directement à l'aide de primitives d'envoi et de réception légères, répondant ainsi aux limites de scalabilité des paradigmes traditionnels fork-join.
- Les MPLMs réduisent les coûts de communication en évitant le partage redondant du contexte et utilisent la préemption pour terminer prématurément les branches peu prometteuses.
- Sur les puzzles de Sudoku, les MPLMs nécessitent un contexte asymptotiquement plus petit que les méthodes séquentielles Chain-of-Thought ou parallèles fork-join, permettant à un modèle affiné de résoudre des puzzles 25x25 qui défient les approches standard.
- Dans les tâches 3-SAT, la capacité de préemption améliore l'efficacité en terminant prématurément les branches peu prometteuses.
- Les grands modèles pré-entraînés correctement invités peuvent suivre le protocole MPLM, atteignant des résultats compétitifs sur la réponse aux questions à contexte long par rapport aux approches fork-join populaires.
Ce cadre offre un mécanisme de mise à l'échelle plus efficace pour le raisonnement des LLM en permettant une communication inter-thread directe et une terminaison précoce basée sur les informations des pairs.