Photoroom menguraikan pipeline data untuk model PRX-nya, yang mengumpulkan data pelatihan dari sumber publik dan internal, melakukan re-captioning gambar dengan VLM, dan mengubah hasilnya menjadi korpus yang dapat di-stream.
- Tim memprioritaskan keragaman dataset daripada estetika per-image selama pra-pelatihan untuk mengajarkan struktur visual alih-alih hanya penyempurnaan.
- Caption dihasilkan oleh VLM untuk memastikan deskripsi yang panjang dan akurat, memungkinkan model memperlakukan teks dan logo sebagai atribut yang dapat dikontrol.
- Lance digunakan untuk rekayasa fitur dan kurasi karena dukungannya terhadap predicate pushdown dan pencarian vektor, sementara Mosaic Data Shards (MDS) menangani streaming selama pelatihan.
- Latent teks dihitung secara on-the-fly menggunakan Qwen3-VL alih-alih pra-hitung, menghasilkan biaya throughput 3–4% tetapi memungkinkan perubahan encoder yang fleksibel.
- Gambar disimpan sebagai JPEG dengan kualitas 92, yang diukur tidak dapat dibedakan secara visual dibandingkan PNG dan menghasilkan generasi model yang tak terbedakan.
Pendekatan ini menyediakan titik awal yang ringan dan skalabel untuk pra-pelatihan model 7B sambil mempertahankan fleksibilitas dalam format data dan pengodean teks.