Peneliti di NVIDIA telah memperkenalkan Spatial-IQ, sebuah kerangka kerja diagnostik yang dirancang untuk mengurai kecerdasan spasial dari model bahasa besar multimodal (MLLM). Berbeda dengan benchmark yang ada yang memperlakukan model sebagai kotak hitam, pendekatan ini menguraikan penghitungan objek dalam struktur 3D bertumpuk menjadi sembilan sub-tugas perseptual dan kognitif yang selaras dengan tahap perkembangan manusia.
- Kerangka kerja ini memanfaatkan NVIDIA Isaac Sim untuk menghasilkan secara prosedural dataset sekitar 80.000 struktur 3D bertumpuk dengan ground truth untuk setiap sub-tugas.
- Evaluasi pada format teks respons bebas, gambar pilihan ganda, dan pengeditan gambar mengungkapkan bahwa model berkinerja terbaik sering berhasil pada tugas target sambil gagal pada sub-tugas tingkat lebih rendah, menunjukkan perilaku pintasan.
- Studi ini menunjukkan bahwa pelatihan dengan supervisi chain-of-thought atas sub-tugas hierarkis ini, dikombinasikan dengan reinforcement learning dengan reward yang dapat diverifikasi, secara signifikan meningkatkan konsistensi spasial dan akurasi tugas target.
Penguraian ini berfungsi sebagai alat diagnostik untuk mengidentifikasi mode kegagalan spesifik serta sinyal pelatihan yang efektif untuk meningkatkan ketahanan penalaran spasial pada MLLM.