Photoroomは、PRXモデルのデータパイプラインを明らかにした。これは公開および内部ソースからトレーニングデータを収集し、VLMで画像を再キャプションし、ストリーミング可能なコーパスに変換する。

  • チームは事前トレーニング中に個々の画像の美しさよりもデータセットの多様性を優先し、単なる磨き上げではなく視覚的構造を教える。
  • キャプションはVLMによって生成され、長く正確な記述を保証し、モデルがテキストやロゴを制御可能な属性として扱えるようにする。
  • Lanceは述語プッシュダウンとベクトル検索のサポートにより、特徴エンジニアリングとキュレーションに使用され、MDS（Mosaic Data Shards）はトレーニング中のストリーミングを担当する。
  • テキストの潜在変数は事前に計算するのではなくQwen3-VLでオンザフライで計算され、3〜4%のスループットコストがかかるが、エンコーダーの変更を柔軟に行える。
  • 画像はJPEG形式で品質92で保存されており、PNGと比較して知覚不可能であり、モデルの生成結果も区別できないことが測定された。

このアプローチは、データ形式とテキストエンコーディングの柔軟性を維持しながら、7Bモデルの事前トレーニングのための軽量でスケーラブルな出発点を提供する。