Эта статья оспаривает предположение о том, что языковые модели должны обучаться исключительно на текстовых представлениях, демонстрируя, что ненадзорное визуальное предобучение является масштабируемым подходом к интеллекту фундаментальных моделей.
Авторы проводят систематическое исследование парадигм визуального предобучения, которые напрямую используют визуальные документы без извлечения текста. На различных архитектурах и бенчмарках визуальное предобучение на тех же базовых корпусах последовательно превосходит предобучение только на тексте.
Эта работа предлагает эффективный путь к масштабируемому языковому интеллекту, сохраняя богатую информацию из рисунков, вёрстки уравнений и макетов страниц, которая теряется при преобразовании источников в обычный текст.