Para peneliti memperkenalkan ELSA3D, sebuah model fondasi 3D terpadu yang menangani interaksi teks-3D implisit dengan menyusun penalaran bahasa dan geometris sepanjang skala abstraksi yang cocok. Model ini memanfaatkan tokenizer oktaf sadar skala dan Token Jangkar jarang untuk mengarahkan isyarat semantik ke skala 3D yang relevan, memastikan keselarasan lintas-modal yang tepat.
- ELSA3D menggunakan router per-blok ringan untuk secara dinamis menentukan token teks mana yang menginstansiasi jangkar pada skala geometris tertentu.
- Pendekatan ini memusatkan kapasitas lintas-modal di tempat di mana keselarasan paling dibutuhkan sambil mempertahankan interaksi yang jarang namun tepat.
- Metode ini mencapai kinerja state-of-the-art dalam generasi gambar-ke-3D, generasi teks-ke-3D, dan kapting 3D.
- Metode ini kira-kira mengurangi FLOPs dan latensi inferensi menjadi setengah dibandingkan dengan versi non-elastis dari model yang sama.
ELSA3D mengungguli baseline terpadu terkuat sambil secara signifikan mengurangi biaya komputasi, menawarkan solusi yang lebih efisien untuk tugas 3D terpadu.