Пользователь ищет рекомендации по адаптации модели DiffusionGemma к набору данных морской предметной области, в частности интересуется методами проведения Continued Pretraining (CPT) для адаптации домена.

  • Пользователь пытался применить Supervised Fine-Tuning (SFT), но заметил увеличение галлюцинаций и ухудшение качества следования инструкциям.
  • Он отмечает, что DiffusionGemma предоставляет только контрольную точку с инструктивным обучением без базовой модели, что предотвращает стандартный рабочий процесс CPT, за которым следует SFT.
  • Пользователь просит примеры успешного CPT для DiffusionGemma или рекомендации других моделей текстовой диффузии, которые поддерживают CPT и обеспечивают хорошую скорость вывода.
  • Аппаратные ограничения включают NVIDIA DGX Spark для обучения и RTX A6000 (48 GB) для вывода.