एक उपयोगकर्ता DiffusionGemma मॉडल को एक समुद्री-डोमेन डेटासेट में अनुकूलित करने के बारे में सलाह खोज रहे हैं, विशेष रूप से डोमेन अनुकूलन के लिए Continued Pretraining (CPT) करने के तरीकों की तलाश में हैं।
- उपयोगकर्ता ने Supervised Fine-Tuning (SFT) का प्रयास किया लेकिन हैलुसिनेशन में वृद्धि और निर्देश-अनुसरण गुणवत्ता में गिरावट देखी।
- वे नोट करते हैं कि DiffusionGemma केवल एक निर्देश-ट्यून्ड चेकपॉइंट प्रदान करता है, जिसमें कोई बेस मॉडल नहीं है, जो मानक CPT के बाद SFT कार्यप्रवाह को रोकता है।
- उपयोगकर्ता DiffusionGemma के साथ सफल CPT उदाहरणों या अन्य पाठ विसरण मॉडलों की सिफारिशें चाहते हैं जो CPT का समर्थन करते हों और अच्छी इनफरेंस गति प्रदान करें।
- हार्डवेयर बाधाओं में प्रशिक्षण के लिए NVIDIA DGX Spark और इनफरेंस के लिए RTX A6000 (48 GB) शामिल हैं।