Este artigo desafia a suposição de que os modelos de linguagem devem ser treinados apenas em representações de texto, demonstrando que o pré-treinamento visual não supervisionado é uma abordagem escalável para a inteligência de modelos fundamentais.
Os autores conduzem um estudo sistemático dos paradigmas de pré-treinamento visual que aproveitam diretamente documentos visuais sem extração de texto. Através de múltiplos backbones e benchmarks, o pré-treinamento visual nos mesmos corpora subjacentes supera consistentemente o pré-treinamento apenas com texto.
Este trabalho oferece um caminho eficiente para a inteligência linguística escalável ao reter informações ricas de figuras, equações tipográficas e layouts de página que são perdidas ao converter fontes em texto puro.