El usuario busca consejos sobre CPT para DiffusionGemma o modelos de difusión de texto alternativos

Un usuario está buscando consejos sobre cómo adaptar el modelo DiffusionGemma a un conjunto de datos del dominio marino, específicamente buscando métodos para realizar Continued Pretraining (CPT) para la adaptación del dominio.

• El usuario intentó Supervised Fine-Tuning (SFT) pero observó un aumento en las alucinaciones y una degradación en la calidad del seguimiento de instrucciones.
• Señalan que DiffusionGemma solo proporciona un punto de control con ajuste por instrucciones sin un modelo base, lo que impide el flujo de trabajo estándar de CPT seguido de SFT.
• El usuario está pidiendo ejemplos exitosos de CPT con DiffusionGemma o recomendaciones de otros modelos de difusión de texto que admitan CPT y ofrezcan buena velocidad de inferencia.
• Las restricciones de hardware incluyen NVIDIA DGX Spark para el entrenamiento y una RTX A6000 (48 GB) para la inferencia.