Исследователи представляют RABBiT, компактный аудио-to-fMRI энкодер, предназначенный для точного предсказания активности мозга в ответ на естественную речь в режимах zero- и few-shot. Модель протестирована на 324 участниках по нескольким новым наборам данных и превосходит современные базовые модели и прогнозы на основе группового усреднения.
- RABBiT обеспечивает точное предсказание fMRI-ответов в слуховых и языково-селективных областях мозга.
- При использовании всего 10 минут данных конкретного участника параметрически эффективная настройка значительно превосходит линейные модели для каждого участника.
- Производительность основана на изученном регионально-специфичном внимании и декомпозиции мозговых ответов на общие и индивидуально-специфичные компоненты.
- Структурированные представления модели поддерживают интерпретируемость, устраняя необходимость в обширной подгонке данных для каждого участника.
Обеспечивая масштабируемый популяционный анализ языка в человеческом мозге, RABBiT решает задачу создания вычислительных моделей, обобщающих разнообразные экспериментальные стимулы и индивидов.