يبحث مستخدم عن نصائح حول تكييف نموذج DiffusionGemma مع مجموعة بيانات من مجال البحار، ويبحث تحديدًا عن طرق لإجراء Continued Pretraining (CPT) للتكيف مع المجال.
- حاول المستخدم إجراء Supervised Fine-Tuning (SFT) لكنه لاحظ زيادة في الهلوسة وتدهور جودة اتباع التعليمات.
- يلاحظون أن DiffusionGemma لا يوفر سوى نقطة تفتيش مُعدّلة بالتعليمات دون نموذج أساسي، مما يمنع سير العمل القياسي لـ CPT يتبعه SFT.
- يطلب المستخدم أمثلة ناجحة لـ CPT مع DiffusionGemma أو توصيات لنماذج انتشار نصوص أخرى تدعم CPT وتوفر سرعة استنتاج جيدة.
- تشمل قيود الأجهزة NVIDIA DGX Spark للتدريب و RTX A6000 (48 GB) للاستنتاج.