تتحقق المقالة من فك تشفير اللغة العصبية باستخدام التصوير بالرنين المغناطيسي الوظيفي (fMRI) الدلالي مع Llama 3.2 وتحسن خط أنابيب الترميز الخاص بـ Huth وآخرون. تقدم fMRIFlamingo، الذي يربط نشاط BOLD بنموذج Llama-3.2-1B المجمد عبر مكوّن لتجزئة الدماغ تم تعلمه و Perceiver Resampler.

  • يستخدم خط أنابيب Huth المحسّن اختيارًا موسعًا للوحدات الحجمية (من 10 آلاف إلى 15 ألف) و GPT-2 medium، محققًا متوسط METEOR = 0.149 و BLEU-1 = 0.200 للمشارك UTS03.
  • حققت fMRIFlamingo دقة Top-1 بنسبة 42.86% في مهمة الترتيب 1-من-100.
  • أعطت إزالة التحكم العمياء مع مدخلات fMRI مُصفّرة نتائج متطابقة تقريبًا، مما يشير إلى أن نجاح فك التشفير مدفوع بالسابقة اللغوية المجمدة بدلاً من المدخلات العصبية.

تُظهر هذه النتائج أن نماذج اللغة عالية السعة لا تحسّن فك تشفير fMRI بشكل جوهري ويمكنها إخفاء الفشل دون تقييم صارم للتحكم الأعمى.