यह पत्र इस धारणा को चुनौती देता है कि भाषा मॉडलों को केवल पाठ प्रतिनिधित्वों पर प्रशिक्षित किया जाना चाहिए, यह प्रदर्शित करते हुए कि अनादेक्ष दृश्य पूर्व-प्रशिक्षण मौलिक मॉडल बुद्धिमत्ता के लिए एक स्केलेबल दृष्टिकोण है।
लेखक उन दृश्य पूर्व-प्रशिक्षण परिदृश्यों का व्यवस्थित अध्ययन करते हैं जो पाठ निष्कर्षण के बिना सीधे दृश्य दस्तावेज़ों का लाभ उठाते हैं। कई बैकबोन्स और बेंचमार्क्स पर, समान अंतर्निहित कॉरपा पर दृश्य पूर्व-प्रशिक्षन लगातार केवल पाठ वाले पूर्व-प्रशिक्षण से बेहतर प्रदर्शन करता है।
यह कार्य चित्रों, टाइपसेट समीकरणों और पृष्ठ लेआउट से समृद्ध जानकारी को बनाए रखकर स्केलेबल भाषा बुद्धिमत्ता के लिए एक कुशल मार्ग प्रदान करता है, जो स्रोतों को सादे पाठ में परिवर्तित करने पर खो जाती है।