Les chercheurs présentent RABBiT, un encodeur audio-vers-fMRI compact conçu pour la prédiction précise en zéro-shot et few-shot de l'activité cérébrale en réponse à la parole naturelle. Évalué sur 324 participants à travers plusieurs jeux de données invisibles, le modèle dépasse les modèles fondamentaux actuels les plus performants ainsi que les prédictions moyennes par groupe.
- RABBiT permet une prédiction précise en zéro-shot des réponses fMRI dans les régions auditives et sélectives au langage.
- Avec seulement 10 minutes de données spécifiques au participant, le réglage efficace en paramètres surpasse largement les modèles linéaires par participant.
- La performance repose sur une attention spécifique aux régions apprises et sur une décomposition des réponses cérébrales en composantes partagées et spécifiques au sujet.
- Les représentations structurées du modèle soutiennent l'interprétabilité tout en éliminant le besoin d'un ajustement de données extensif par participant.
En permettant des analyses à l'échelle de la population du langage dans le cerveau humain, RABBiT relève le défi de construire des modèles computationnels qui généralisent à travers divers stimuli expérimentaux et individus.