Pesquisadores apresentam o RABBiT, um codificador compacto de áudio para fMRI projetado para a previsão precisa de atividade cerebral em resposta à fala natural nos modos zero- e few-shot. Avaliado em 324 participantes através de múltiplos conjuntos de dados não vistos, o modelo supera os modelos fundamentais atuais de estado da arte e as previsões por média de grupo.
- O RABBiT permite a previsão precisa de respostas fMRI em regiões auditivas e seletivas à linguagem.
- Com apenas 10 minutos de dados específicos do participante, o ajuste eficiente em parámetros supera substancialmente os modelos lineares por participante.
- O desempenho depende da atenção específica de região aprendida e de uma decomposição das respostas cerebrais em componentes compartilhados e específicos do sujeito.
- As representações estruturadas do modelo suportam a interpretabilidade enquanto eliminam a necessidade de ajuste extensivo de dados por participante.
Ao permitir análises populacionais escaláveis da linguagem no cérebro humano, o RABBiT aborda o desafio de construir modelos computacionais que generalizem através de diversos estímulos experimentais e indivíduos.