Photoroom 概述了其 PRX 模型的数据流水线，该流水线从公开和内部来源汇编训练数据，使用 VLM 对图像进行重新标注，并将结果转换为可流式传输的语料库。

  • 在预训练期间，团队优先考虑数据集的多样性而非单张图像的美观度，以教授视觉结构而不仅仅是打磨效果。
  • 通过 VLM 生成描述，以确保长且准确的描述，使模型能够将文本和徽标视为可控属性。
  • 由于 Lance 支持谓词下推和向量搜索，因此被用于特征工程和筛选，而 Mosaic Data Shards (MDS) 负责训练期间的流式处理。
  • 使用 Qwen3-VL 动态计算文本潜变量而非预先计算，这带来了 3–4% 的吞吐量成本，但允许灵活更改编码器。
  • 图像以质量 92 的 JPEG 格式存储，经测量其与 PNG 相比不可察觉，并产生了无法区分的模型生成结果。

这种方法为预训练 7B 模型提供了一个轻量级、可扩展的起点，同时保持了数据格式和文本编码的灵活性。