يقترح المؤلفون LongCrafter، وهو إطار عمل منظم لتوليف بيانات الضبط الدقيق الخاضع للإشراف للسياق الطويل الذي يعالج قيود تغطية المهام والوفاء. يربط بين تصنيف هرمي لـ 32 نوعًا من المهام مع خط أنابيب متجذر في الأدلة لتوليد أزواج التعليمات والاستجابة المتجذرة بدقة في مقاطع الأدلة المحددة.
- تتفوق النماذج التي خضعت للضبط الدقيق على بيانات LongCrafter على جميع الأساسيات SFT والنماذج المدربة لاحقًا الرسمية في LongBench وLongBench v2 وLooGLE عبر Qwen2.5-7B وLLaMA-3.1-8B.
- يؤدي النهج إلى أكبر المكاسب في المهام عالية الصعوبة وينتج بيانات أكثر تنوعًا وأفضل انتشارًا عبر مستويات الصعوبة.
- تحدد النماذج المدربة الأدلة بشكل قوي بغض النظر عن الموقع، مما يخفف بشكل فعال من مشكلة "الضياع في المنتصف".
يضمن LongCrafter صعوبة قابلة للتحكم واستدلال وفِي وقابل للتتبع، مما يوفر طريقة قابلة للتوسع لتعزيز فهم السياق الطويل في نماذج اللغة الكبيرة.