Ce chapitre présente la compréhension actuelle des grands modèles de langage (LLMs) en examinant leurs mécanismes, leurs capacités émergentes et le débat entourant leur relation avec la cognition humaine. Il souligne comment le mécanisme d'attention de l'architecture Transformer permet aux LLMs de fonctionner comme des modèles généralistes entraînés sur des ensembles de données massifs.
- Le texte passe en revue les preuves que les LLMs présentent des capacités émergentes ressemblant à la cognition humaine, telles que le raisonnement symbolique, la théorie de l'esprit et les stratégies de tromperie.
- Les études mettent en évidence à la fois des cas de succès dans la résolution de tâches complexes et des cas d'échec qui révèlent les différences entre la cognition humaine et celle des LLMs.
- Des approches d'IA explicable sont discutées, notamment l'analyse de l'activation des neurones et le traçage de circuits.
- Les auteurs s'opposent aux vues réductionnistes simplistes qui attribuent le comportement des LLMs uniquement à la mémorisation de motifs, plaidant pour une discussion nuancée sur la cognition de l'IA.
Les auteurs soutiennent que rejeter la compréhension des LLMs sur la base d'objectifs d'entraînement simples découle de conceptions erronées des processus d'optimisation. Ils proposent une perspective équilibrée qui reconnaît les différences entre les humains et les LLMs tout en permettant la possibilité d'une cognition IA authentique.