本文挑战了语言模型必须仅在纯文本表示上进行训练的假设，证明了无监督视觉预训练是实现基础模型智能的可扩展方法。

作者对直接利用视觉文档而无需文本提取的视觉预训练范式进行了系统研究。在多种骨干网络和基准测试中，基于相同底层语料库的视觉预训练始终优于仅基于文本的预训练。

这项工作通过保留从图表、排版公式和页面布局中提取的丰富信息（这些信息在将源文件转换为纯文本时会丢失），为可扩展的语言智能提供了一条高效路径。