Les auteurs proposent LongCrafter, un cadre structuré pour synthétiser des données d'ajustement fin supervisé à contexte long qui répond aux limitations en couverture de tâches et fidélité. Il couple une taxonomie hiérarchique de 32 types de tâches avec un pipeline ancré dans les preuves pour générer des paires instruction-réponse strictement ancrées dans des segments de preuves localisés.

  • Les modèles ajustés sur les données LongCrafter surpassent toutes les baselines SFT et les modèles post-entraînés officiels sur LongBench, LongBench v2 et LooGLE pour Qwen2.5-7B et LLaMA-3.1-8B.
  • L'approche produit les gains les plus importants sur les tâches de haute difficulté et génère des données plus diversifiées et mieux réparties sur les niveaux de difficulté.
  • Les modèles entraînés localisent les preuves de manière robuste quelle que soit la position, atténuant efficacement le problème du « perdu au milieu ».

LongCrafter garantit une difficulté contrôlable et un raisonnement fidèle et traçable, offrant une méthode évolutive pour améliorer la compréhension du contexte long dans les grands modèles de langage.