लेख मॉडल के बेहतर होते हुए पोस्ट-ट्रेनिंग डेटा के आयतन को बढ़ाने के घटते लाभों पर चर्चा करता है, उच्च गुणवत्ता वाले डेटासेट की ओर शिफ्ट करने का सुझाव देता है। यह पैरसेवेव को हाइलाइट करता है, जो वास्तविक इंजीनियरिंग समस्याओं के साथ मूल्यांकन ट्रेस से पोस्ट-ट्रेनिंग डेटा उत्पन्न करता है।
- एक बार जब कोई मॉडल एक पैटर्न सीख लेता है तो सिंथेटिक डेटा अनावश्यक हो सकता है, जिससे अतिरिक्त विविधताएं कम उपयोगी हो जाती हैं।
- लेखक स्पष्ट ground truth और उचित समीक्षा के साथ चुनौतीपूर्ण, यथार्थवादी कार्यों की छोटी मात्रा का पक्षधर है।
- शोर या लाभ की कमी से बचने के लिए कार्य की कठिनाई को कैलिब्रेट करना महत्वपूर्ण है।
- पैरसेवेव केवल स्केलेबिलिटी पर निर्भर रहने के बजाय वास्तविक इंजीनियरिंग समस्याओं से अपना डेटासेट बनाता है।
चर्चा यह सवाल उठाती है कि SFT/RL/पोस्ट-ट्रेनिंग डेटासेट में शामिल होने के लिए एक नमूना योग्य क्या बनाता है और क्या विशिष्ट विफलता मोड्स को टारगेट करना स्केलेबिलिटी से अधिक महत्वपूर्ण है।