Para peneliti memperkenalkan RABBiT, sebuah encoder audio-ke-fMRI yang ringkas yang dirancang untuk prediksi aktivitas otak yang akurat secara zero-shot dan few-shot sebagai respons terhadap ucapan alami. Dinilai pada 324 peserta di berbagai dataset yang belum pernah dilihat sebelumnya, model ini melampaui model dasar state-of-the-art saat ini dan prediksi rata-rata kelompok.
- RABBiT memungkinkan prediksi respons fMRI secara akurat dengan zero-shot di wilayah auditori dan selektif terhadap bahasa.
- Dengan hanya 10 menit data spesifik peserta, penalaan yang efisien parameter jauh melampaui model linier per peserta.
- Kinerja bergantung pada perhatian spesifik wilayah yang dipelajari dan dekomposisi respons otak menjadi komponen bersama dan spesifik subjek.
- Representasi terstruktur model mendukung interpretabilitas sambil menghilangkan kebutuhan untuk fitting data per peserta yang ekstensif.
Dengan memungkinkan analisis tingkat populasi yang skalabel terhadap bahasa di otak manusia, RABBiT mengatasi tantangan membangun model komputasi yang generalisasi melintasi berbagai stimulus eksperimental dan individu.