저자들은 ELSA3D를 소개합니다. 이는 언어와 기하학적 추론을 일치하는 추상화 스케일 따라 구조화하여 암시적 텍스트-3D 상호작용을 해결하는 통합된 3D 파운데이션 모델입니다. 이 모델은 스케일 인식 옥트리 토크나이저를 활용하고, 관련 3D 스케일로 의미적 단서를 라우팅하는 희소 크로스모달 단위인 앵커 토큰을 도입합니다.
- 앵커 토큰은 의미적 단서를 선택하고, 스케일별 기하학적 증거를 검색하며, 융합된 신호를 통합 표현에 다시 기록합니다.
- 경량 블록별 라우터는 특정 기하학적 스케일에서 어떤 텍스트 토큰이 앵커를 인스턴스화하는지 결정함으로써 계산과 추론을 탄력적으로 만듭니다.
- ELSA3D는 이미지-3D 생성, 텍스트-3D 생성 및 3D 캡셔닝에서 최첨단 성능을 달성합니다.
- 이 접근 방식은 동일한 모델의 비탄성 버전과 비교하여 FLOPs와 추론 지연 시간을 절반으로 줄입니다.
이 방법은 크로스모달 용량이 정렬이 가장 필요한 곳에 집중되도록 하여 성능을 희생하지 않고 효율성을 향상시킵니다.