Cet article remet en question l'hypothèse selon laquelle les modèles de langage doivent être entraînés sur des représentations textuelles uniquement, en démontrant que le pré-entraînement visuel non supervisé est une approche évolutive pour l'intelligence des modèles de base.
Les auteurs réalisent une étude systématique des paradigmes de pré-entraînement visuel qui exploitent directement les documents visuels sans extraction de texte. Sur plusieurs backbones et benchmarks, le pré-entraînement visuel sur les mêmes corpus sous-jacents surpasse systématiquement le pré-entraînement textuel uniquement.
Ce travail offre une voie efficace vers une intelligence linguistique évolutive en conservant les informations riches issues des figures, des équations mises en page et des mises en page de pages, qui sont perdues lors de la conversion des sources en texte brut.