A Photoroom descreve o pipeline de dados para seu modelo PRX, que reúne dados de treinamento a partir de fontes públicas e internas, realiza relegendagem de imagens com um VLM e converte o resultado em um corpus transmissível.
- A equipe prioriza a diversidade do conjunto de dados em vez da estética por imagem durante o pré-treinamento para ensinar estrutura visual em vez de apenas polimento.
- As legendas são geradas por um VLM para garantir descrições longas e precisas que permitem ao modelo tratar texto e logotipos como atributos controláveis.
- O Lance é usado para engenharia de recursos e curadoria devido ao seu suporte a pushdown de predicados e busca vetorial, enquanto o Mosaic Data Shards (MDS) cuida do streaming durante o treinamento.
- Os latentes de texto são computados sob demanda usando Qwen3-VL em vez de pré-computá-los, resultando em um custo de throughput de 3–4%, mas permitindo mudanças flexíveis no codificador.
- As imagens são armazenadas como JPEG na qualidade 92, que foi medida como imperceptível em comparação ao PNG e produziu gerações de modelo indistinguíveis.
Essa abordagem fornece um ponto de partida leve e escalável para o pré-treinamento de um modelo de 7B, mantendo flexibilidade no formato dos dados e na codificação de texto.