Photoroom은 PRX 모델의 데이터 파이프라인을 개요로 제시했으며, 이는 공개 및 내부 소스에서 훈련 데이터를 수집하고 VLM으로 이미지를 재캡션한 후 스트리밍 가능한 코퍼스로 변환합니다.

  • 팀은 사전 훈련 중 개별 이미지의 미적 품질보다 데이터셋 다양성을 우선시하여 단순한 다듬기가 아닌 시각적 구조를 학습하도록 합니다.
  • 캡션은 VLM에 의해 생성되어 길고 정확한 설명을 보장하며, 모델이 텍스트와 로고를 제어 가능한 속성으로 처리할 수 있게 합니다.
  • Lance는 술어 푸시다운과 벡터 검색 지원을 특징 공학 및 큐레이션에 사용되며, MDS(Mosaic Data Shards)는 훈련 중 스트리밍을 담당합니다.
  • 텍스트 잠재력은 사전 계산 대신 Qwen3-VL에서 온더플라이로 계산되어 3–4%의 처리량 비용을 발생시키지만 인코더 변경의 유연성을 허용합니다.
  • 이미지는 품질 92의 JPEG로 저장되며, PNG와 비교 시 지각 불가능하며 모델 생성 결과도 구별할 수 없는 것으로 측정되었습니다.

이 접근 방식은 데이터 형식과 텍스트 인코딩의 유연성을 유지하면서 7B 모델 사전 훈련을 위한 경량이고 확장 가능한 출발점을 제공합니다.