연구자들은 언어와 기하학적 추론을 일치하는 추상화 스케일 따라 구조화함으로써 암시적 텍스트-3D 상호작용을 해결하는 통합 3D 파운데이션 모델인 ELSA3D를 소개합니다. 이 모델은 스케일 인식 옥트리 토크나이저와 희소 앵커 토큰을 활용하여 의미적 단서를 관련 있는 3D 스케일로 라우팅하고, 정확한 크로스모달 정렬을 보장합니다.

  • ELSA3D는 경량 블록별 라우터를 사용하여 특정 기하학적 스케일에서 어떤 텍스트 토큰이 앵커를 인스턴스화할지 동적으로 결정합니다.
  • 이 접근 방식은 희소하지만 정확한 상호작용을 유지하면서 정렬이 가장 필요한 곳에 크로스모달 용량을 집중시킵니다.
  • 이 방법은 이미지에서 3D 생성, 텍스트에서 3D 생성 및 3D 캡셔닝에서 최첨단 성능을 달성합니다.
  • 동일한 모델의 비탄성 버전과 비교하여 FLOPs와 추론 지연 시간을 약 절반으로 줄입니다.

ELSA3D는 가장 강력한 통합 베이스라인을 능가하면서도 계산 비용을 크게 절감하여 통합 3D 작업을 위한 더 효율적인 솔루션을 제공합니다.