Para penulis memperkenalkan ELSA3D, sebuah model fondasi 3D terpadu yang mengatasi interaksi teks-3D implisit dengan menyusun penalaran bahasa dan geometris sepanjang skala abstraksi yang cocok. Model ini memanfaatkan tokenizator oktaedra yang sadar skala dan memperkenalkan Anchor Tokens, yaitu unit cross-modal jarang yang merutekan isyarat semantik ke skala 3D yang relevan.
- Anchor Tokens memilih isyarat semantik, mengambil bukti geometri spesifik-skala, dan menulis sinyal yang digabungkan kembali ke representasi terpadu.
- Router per-blok yang ringan membuat komputasi dan penalaran menjadi elastis dengan menentukan token teks mana yang menginstansiasi anchor pada skala geometri tertentu.
- ELSA3D mencapai kinerja state-of-the-art dalam generasi gambar-ke-3D, generasi teks-ke-3D, dan kapting 3D.
- Pendekatan ini mengurangi FLOPs dan latensi inferensi menjadi setengah dibandingkan dengan versi non-elastis dari model yang sama.
Metode ini memungkinkan kapasitas cross-modal untuk berkonsentrasi di mana pencocokan paling dibutuhkan, meningkatkan efisiensi tanpa mengorbankan kinerja.