この論文は、言語モデルがテキストのみの表現で訓練されなければならないという前提に疑問を投げかけ、教師なし視覚事前学習が基盤モデルの知能に対してスケーラブルなアプローチであることを実証する。

著者たちは、テキスト抽出を行わずに視覚文書を直接活用する視覚事前学習のパラダイムについて体系的な研究を行っている。複数のバックボーンとベンチマークにおいて、同じ基礎コーパスに対する視覚事前学習は、テキストのみの事前学習を一貫して上回る結果を示した。

この研究は、ソースをプレーンテキストに変換する際に失われる図、組版された数式、ページレイアウトからの豊富な情報を保持することで、スケーラブルな言語知能への効率的な道筋を提供する。