Sebuah studi empiris menemukan bahwa memproyeksikan bobot MLP dari satu model transformer ke model lain gagal mentransfer kemampuan semantik. Setiap varian yang diuji menunjukkan kinerja lebih buruk daripada model host yang tidak dimodifikasi, mengindikasikan keterbatasan struktural dalam proyeksi bobot. Hasil ini menantang klaim publik mengenai kemampuan model berdasarkan benchmark, menunjukkan bahwa klaim tersebut tidak mencerminkan geometri bobot internal yang sebenarnya.