Un utilisateur demande des conseils sur le CPT pour DiffusionGemma ou des modèles de diffusion textuelle alternatifs

Un utilisateur cherche des conseils pour adapter le modèle DiffusionGemma à un jeu de données du domaine marin, en recherchant spécifiquement des méthodes pour effectuer un Continued Pretraining (CPT) pour l'adaptation au domaine.

• L'utilisateur a tenté un Supervised Fine-Tuning (SFT) mais a observé une augmentation des hallucinations et une dégradation de la qualité du suivi des instructions.
• Ils notent que DiffusionGemma ne fournit qu'un checkpoint ajusté aux instructions sans modèle de base, empêchant le workflow standard de CPT suivi de SFT.
• L'utilisateur demande des exemples de CPT réussis avec DiffusionGemma ou recommande d'autres modèles de diffusion textuelle qui prennent en charge le CPT et offrent une bonne vitesse d'inférence.
• Les contraintes matérielles incluent un NVIDIA DGX Spark pour l'entraînement et un RTX A6000 (48 GB) pour l'inférence.