Photoroom описывает конвейер обработки данных для своей модели PRX, который собирает обучающие данные из публичных и внутренних источников, переписывает подписи к изображениям с помощью VLM и преобразует результат в потоковый корпус.
- Команда отдает приоритет разнообразию набора данных над эстетикой отдельных изображений во время предобучения, чтобы обучить модель пониманию визуальной структуры, а не просто полировке.
- Подписи генерируются VLM для обеспечения длинных и точных описаний, позволяющих модели рассматривать текст и логотипы как контролируемые атрибуты.
- Lance используется для инженерии признаков и курирования благодаря поддержке предикатного проталкивания (predicate pushdown) и векторного поиска, в то время как Mosaic Data Shards (MDS) обрабатывает потоковую передачу во время обучения.
- Текстовые латенты вычисляются на лету с помощью Qwen3-VL вместо их предварительного вычисления, что обходится в 3–4% пропускной способности, но позволяет гибко изменять кодировщик.
- Изображения хранятся в формате JPEG с качеством 92, что было измерено как незаметное по сравнению с PNG и приводило к неразличимым результатам генерации модели.
Этот подход обеспечивает легковесную и масштабируемую отправную точку для предобучения модели на 7B параметров, сохраняя гибкость в формате данных и кодировании текста.