Seorang pengguna sedang mencari saran tentang menyesuaikan model DiffusionGemma ke dataset domain kelautan, khususnya mencari metode untuk melakukan Continued Pretraining (CPT) untuk adaptasi domain.
- Pengguna mencoba Supervised Fine-Tuning (SFT) tetapi mengamati peningkatan halusinasi dan penurunan kualitas pengikut instruksi.
- Mereka mencatat bahwa DiffusionGemma hanya menyediakan checkpoint yang disetel-instruksi tanpa model dasar, mencegah alur kerja CPT standar diikuti oleh SFT.
- Pengguna meminta contoh CPT yang berhasil dengan DiffusionGemma atau rekomendasi untuk model difusi teks lain yang mendukung CPT dan menawarkan kecepatan inferensi yang baik.
- Kendala perangkat keras termasuk NVIDIA DGX Spark untuk pelatihan dan RTX A6000 (48 GB) untuk inferensi.