이 논문은 언어 모델이 텍스트 전용 표현으로만 훈련되어야 한다는 가정에 의문을 제기하며, 비지도 시각적 사전 학습이 파운데이션 모델 지능에 확장 가능한 접근법임을 입증합니다.
저자들은 텍스트 추출 없이 시각적 문서를 직접 활용하는 시각적 사전 학습 패러다임에 대한 체계적인 연구를 수행했습니다. 여러 백본과 벤치마크에 걸쳐 동일한 기반 코퍼스에서 시각적 사전 학습은 텍스트 전용 사전 학습을 일관되게 상회합니다.
이 작업은 소스를 일반 텍스트로 변환할 때 손실되는 그림, 조판된 수식, 페이지 레이아웃으로부터 풍부한 정보를 유지함으로써 확장 가능한 언어 지능으로 가는 효율적인 경로를 제공합니다.