लेखकों ने LongCrafter का प्रस्ताव रखा है, जो लंबे संदर्भ वाले सुपरवाइज्ड फाइन-ट्यूनिंग डेटा को संश्लेषित करने के लिए एक संरचित ढांचा है जो कार्य कवरेज और विश्वसनीयता में सीमाओं से निपटता है। यह 32 कार्य प्रकारों की एक पदानुक्रमित वर्गीकरण को प्रमाण-आधारित पाइपलाइन के साथ जोड़ता है ताकि स्थानीकृत प्रमाण खंडों पर कठोरता से आधारित निर्देश-प्रतिक्रिया युग्म उत्पन्न किए जा सकें।
- LongCrafter डेटा पर फाइन-ट्यून किए गए मॉडल Qwen2.5-7B और LLaMA-3.1-8B के लिए LongBench, LongBench v2 और LooGLE पर सभी SFT बेलाइनों और आधिकारिक पोस्ट-ट्रेन्ड मॉडल्स से बेहतर प्रदर्शन करते हैं।
- दृष्टिकोण उच्च-कठिनाई वाले कार्यों पर सबसे बड़ी वृद्धि देता है और अधिक विविध और कठिनाई स्तरों के बीच बेहतर फैला हुआ डेटा उत्पन्न करता है।
- प्रशिक्षित मॉडल स्थिति से स्वतंत्र रूप से प्रमाण को मजबूती से स्थानीकृत करते हैं, जिससे "मध्य में खोया हुआ" समस्या का प्रभावी ढंग से समाधान होता है।
LongCrafter नियंत्रित कठिनाई और विश्वसनीय, पता लगाया जा सकने वाला तर्क सुनिश्चित करता है, बड़े भाषा मॉडल्स में लंबे संदर्भ की समझ को बढ़ाने के लिए एक स्केलेबल तरीका प्रदान करता है।