تتحدى هذه الورقة الافتراض القائل بأن نماذج اللغة يجب أن تُدرَّب على تمثيلات نصية فقط، من خلال إظهار أن التدريب المسبق البصري غير الخاضع للإشراف هو نهج قابل للتوسع لذكاء النماذج الأساسية.
يقوم المؤلفون بدراسة منهجية لأنماط التدريب المسبق البصري التي تستغل الوثائق البصرية مباشرة دون استخراج النص. عبر العديد من الهياكل الأساسية والمعايير، يتفوق التدريب المسبق البصري على نفس المجموعات الأساسية باستمرار على التدريب المسبق النصي وحده.
تقدم هذه العمل مسارًا فعالاً نحو الذكاء اللغوي القابل للتوسع من خلال الاحتفاظ بالمعلومات الغنية المستمدة من الأشكال والمعادلات المنسقة وتخطيطات الصفحات التي تضيع عند تحويل المصادر إلى نص عادي.