Makalah ini menantang asumsi bahwa model bahasa harus dilatih pada representasi teks-saja dengan menunjukkan bahwa pra-pelatihan visual tanpa pengawasan adalah pendekatan yang dapat diskalakan untuk kecerdasan model dasar.
Para penulis melakukan studi sistematis tentang paradigma pra-pelatihan visual yang secara langsung memanfaatkan dokumen visual tanpa ekstraksi teks. Di berbagai backbone dan benchmark, pra-pelatihan visual pada korpus dasar yang sama secara konsisten mengungguli pra-pelatihan teks-saja.
Karya ini menawarkan jalur efisien menuju kecerdasan bahasa yang dapat diskalakan dengan mempertahankan informasi kaya dari gambar, persamaan yang disusun, dan tata letak halaman yang hilang saat mengonversi sumber menjadi teks biasa.