Photoroom expose le pipeline de données pour son modèle PRX, qui assemble les données d'entraînement à partir de sources publiques et internes, recaptione les images avec un VLM et convertit le résultat en un corpus streamable.
- L'équipe privilégie la diversité des ensembles de données par rapport à l'esthétique par image pendant le pré-entraînement pour enseigner la structure visuelle plutôt que simplement le polissage.
- Les légendes sont générées par un VLM pour garantir des descriptions longues et précises, permettant au modèle de traiter le texte et les logos comme des attributs contrôlables.
- Lance est utilisé pour l'ingénierie des fonctionnalités et la curation grâce à son support du predicate pushdown et de la recherche vectorielle, tandis que Mosaic Data Shards (MDS) gère le streaming pendant l'entraînement.
- Les latents textuels sont calculés à la volée avec Qwen3-VL au lieu d'être pré-calculés, entraînant un coût de débit de 3–4 % mais permettant des changements flexibles d'encodeur.
- Les images sont stockées en JPEG avec une qualité de 92, jugée imperceptible par rapport au PNG et produisant des générations de modèle indiscernables.
Cette approche offre un point de départ léger et évolutif pour le pré-entraînement d'un modèle de 7B tout en maintenant la flexibilité du format de données et de l'encodage textuel.