Les chercheurs proposent Highlight-Then-Summarize (H2S), un paradigme de compression puis raisonnement qui identifie les preuves pertinentes à la question et les intègre dans un résumé compact avant de générer une réponse. Pour soutenir cette approche, l'équipe a construit H2S-Dataset avec 6 647 exemples provenant de 11 familles de benchmarks et a introduit H2S-RL pour des récompenses au niveau du processus.

  • H2S-14B atteint un score moyen de 32,60 sur H2S-Bench sous une contrainte d'entrée de 128K et de sortie de 4K.
  • Le modèle surpasse Qwen3.8-27B de 10,17 points, obtenant le meilleur résultat global parmi les modèles open-source évalués.
  • H2S-14B conserve 97,1 % de ses performances avec un budget de 16K tout en n'ayant qu'un budget de sortie de 4K, tout en atteignant le score le plus élevé pour la Qualité du Résumé des Preuves.

Ces résultats démontrent que la sélection explicite et l'intégration des preuves améliorent le raisonnement sur les contextes longs tout en permettant une génération plus compacte.