Os autores propõem o LongCrafter, uma estrutura estruturada para sintetizar dados de ajuste fino supervisionado (SFT) com contexto longo que aborda limitações na cobertura de tarefas e fidelidade. Ele acopla uma taxonomia hierárquica de 32 tipos de tarefas com um pipeline fundamentado em evidências para gerar pares instrução-resposta estritamente baseados em trechos de evidência localizados.
- Modelos ajustados nos dados do LongCrafter superam todas as linhas de base SFT e modelos oficiais pós-treinados no LongBench, LongBench v2 e LooGLE para Qwen2.5-7B e LLaMA-3.1-8B.
- A abordagem produz os maiores ganhos em tarefas de alta dificuldade e gera dados mais diversos e melhor distribuídos entre os níveis de dificuldade.
- Modelos treinados localizam evidências de forma robusta, independentemente da posição, mitigando eficazmente o problema do "perdido no meio".
O LongCrafter garante dificuldade controlável e raciocínio fiel e rastreável, fornecendo uma maneira escalável de aprimorar a compreensão de contexto longo em grandes modelos de linguagem.