Para penulis mengusulkan LongCrafter, sebuah kerangka kerja terstruktur untuk mensintesis data penyetelan halus pengawasan konteks panjang yang mengatasi keterbatasan cakupan tugas dan kesetiaan. Ini menggabungkan taksonomi hierarkis dari 32 jenis tugas dengan pipeline berbasis bukti untuk menghasilkan pasangan instruksi-respons yang secara ketat berlandaskan pada rentang bukti yang ditemukan.
- Model yang disetel halus pada data LongCrafter mengungguli semua baseline SFT dan model pasca-pelatihan resmi di LongBench, LongBench v2, dan LooGLE di Qwen2.5-7B dan LLaMA-3.1-8B.
- Pendekatan ini menghasilkan peningkatan terbesar pada tugas dengan kesulitan tinggi dan menghasilkan data yang lebih beragam serta lebih tersebar di seluruh tingkat kesulitan.
- Model yang dilatih menemukan bukti secara robust terlepas dari posisi, secara efektif mengurangi masalah "hilang di tengah".
LongCrafter memastikan kesulitan yang terkendali dan penalaran yang setia serta dapat dilacak, menyediakan cara yang skalabel untuk meningkatkan pemahaman konteks panjang dalam model bahasa besar.