Los autores proponen LongCrafter, un marco estructurado para sintetizar datos de ajuste fino supervisado (SFT) con contexto largo que aborda limitaciones en la cobertura de tareas y la fidelidad. Combina una taxonomía jerárquica de 32 tipos de tareas con un pipeline fundamentado en evidencias para generar pares instrucción-respuesta estrictamente basados en fragmentos de evidencia localizados.
- Los modelos ajustados con datos de LongCrafter superan a todas las líneas base SFT y los modelos oficiales post-entrenados en LongBench, LongBench v2 y LooGLE para Qwen2.5-7B y LLaMA-3.1-8B.
- El enfoque produce las mayores mejoras en tareas de alta dificultad y genera datos más diversos y mejor distribuidos entre los niveles de dificultad.
- Los modelos entrenados localizan evidencias de manera robusta independientemente de su posición, mitigando eficazmente el problema del "perdido en el medio".
LongCrafter asegura una dificultad controlable y un razonamiento fiel y rastreable, proporcionando una forma escalable para mejorar la comprensión de contexto largo en modelos de lenguaje grandes.