Usuário busca conselhos sobre CPT para DiffusionGemma ou modelos de difusão de texto alternativos

Um usuário está buscando conselhos sobre como adaptar o modelo DiffusionGemma a um conjunto de dados do domínio marinho, especificamente procurando métodos para realizar Continued Pretraining (CPT) para adaptação de domínio.

• O usuário tentou Supervised Fine-Tuning (SFT), mas observou aumento de alucinações e degradação na qualidade do seguimento de instruções.
• Eles notam que o DiffusionGemma fornece apenas um checkpoint com ajuste por instrução sem um modelo base, impedindo o fluxo de trabalho padrão de CPT seguido por SFT.
• O usuário está pedindo exemplos bem-sucedidos de CPT com DiffusionGemma ou recomendações de outros modelos de difusão de texto que suportem CPT e ofereçam boa velocidade de inferência.
• As restrições de hardware incluem NVIDIA DGX Spark para treinamento e uma RTX A6000 (48 GB) para inferência.