Los investigadores presentan RABBiT, un codificador compacto de audio a fMRI diseñado para la predicción precisa de actividad cerebral en respuesta al habla natural en modos zero- y few-shot. Evaluado en 324 participantes a través de múltiples conjuntos de datos no vistos, el modelo supera a los modelos base actuales de vanguardia y a las predicciones promedio por grupo.
- RABBiT permite la predicción precisa de respuestas fMRI en regiones auditivas y selectivas del lenguaje.
- Con solo 10 minutos de datos específicos del participante, el ajuste eficiente en parámetros supera sustancialmente a los modelos lineales por participante.
- El rendimiento se basa en la atención específica de regiones aprendida y una descomposición de las respuestas cerebrales en componentes compartidos y específicos del sujeto.
- Las representaciones estructuradas del modelo apoyan la interpretabilidad mientras eliminan la necesidad de un ajuste extensivo de datos por participante.
Al permitir análisis poblacionales escalables del lenguaje en el cerebro humano, RABBiT aborda el desafío de construir modelos computacionales que generalicen a través de diversos estímulos experimentales e individuos.