Para peneliti mengembangkan sebuah benchmark untuk mengevaluasi kemampuan multibahasa model visi-bahasa (VLM) dalam menggunakan ekspresi deiktik spasial, seperti "this" dan "that", di empat bahasa. Studi ini berfokus pada seberapa baik model-model tersebut secara bersama-sama melakukan penalaran atas bahasa dan ruang visual untuk menjangkar referensi yang bergantung pada konteks dalam struktur spasial gambar.
- Benchmark ini menguji kapasitas VLM untuk memilih ekspresi deiktik spasial yang sesuai berdasarkan konteks situasional dan perbedaan spasial spesifik bahasa.
- Eksperimen mengungkapkan bahwa model-model yang diuji menggunakan kata tunjuk secara berbeda dari manusia, khususnya mengenai pemilihan kata tunjuk yang sesuai berdasarkan jarak ke objek.
Evaluasi ini menyoroti kesenjangan tertentu dalam bagaimana VLM saat ini menangani tugas penalaran spasial kompleks dibandingkan dengan kinerja manusia.