Este artículo desafía el supuesto de que los modelos de lenguaje deben entrenarse únicamente con representaciones de texto, demostrando que el preentrenamiento visual no supervisado es un enfoque escalable para la inteligencia de los modelos base.
Los autores realizan un estudio sistemático de los paradigmas de preentrenamiento visual que aprovechan directamente los documentos visuales sin extracción de texto. A través de múltiples backbones y benchmarks, el preentrenamiento visual sobre los mismos corpus subyacentes supera consistentemente al preentrenamiento solo con texto.
Este trabajo ofrece una vía eficiente hacia la inteligencia del lenguaje escalable al retener información rica de figuras, ecuaciones tipográficas y diseños de página que se pierde al convertir las fuentes en texto plano.