arxiv arXiv cs.AI · il y a 3 j · source : il y a 5 j · research

Highlight-Then-Summarize compresse les éléments de preuve pour améliorer la compréhension sur longs contextes

Traduit de English → Français

Les chercheurs proposent Highlight-Then-Summarize (H2S), un paradigme « compresser puis raisonner » qui identifie les éléments de preuve pertinents par rapport à la question et les intègre dans un résumé compact avant de générer une réponse. L'équipe construit H2S-Dataset avec 6 647 exemples et introduit H2S-RL pour fournir des récompenses au niveau du processus pour la sélection des preuves.

H2S-14B atteint un score moyen de 32,60 sur le suite H2S-Bench à sept tâches sous une contrainte d'entrée de 128K et de sortie de 4K.
Le modèle surpasse Qwen3.8-27B de 10,17 points, obtenant le meilleur résultat global parmi les modèles open-source évalués.
H2S-14B conserve 97,1 % de ses performances avec une contrainte de 16K tout en n'ayant qu'une contrainte de sortie de 4K, tout en atteignant le score le plus élevé pour la Qualité du Résumé des Preuves.

Ces résultats démontrent que la sélection explicite et l'intégration des preuves améliorent le raisonnement sur longs contextes tout en permettant une génération plus compacte.

Importance 2/3 arXiv cs.AI Research paper Retrieval & RAG

Lire l'original

Articles similaires

arxiv arXiv cs.AI · il y a 2 j · 1 vue

RareDx utilise l'optimisation de politique ancrée sur un graphe pour améliorer le diagnostic des maladies rares

Les auteurs présentent RareDx, un système qui couple l'utilisation contrôlée des preuves avec une optimisation de politique ancrée sur un graphe de connaissances afin de résoudre le problème de raisonnement à longue traîne du diagnostic des maladies rares. Le pipeline d'entraînement combine le post-entraînement Top-10 avec RareDx-KGPO, qui projette les prédictions dans un graphe canonique de maladies et intègre la pertinence graduée curatée, la proximité ontologique, la similarité biomédicale et la cohérence phénotypique.

arxiv arXiv cs.CL · il y a 3 j · 6 vues

Highlight-Then-Summarize compresse les preuves pour une meilleure compréhension des contextes longs

Les chercheurs proposent Highlight-Then-Summarize (H2S), un paradigme de compression puis raisonnement qui identifie les preuves pertinentes à la question et les intègre dans un résumé compact avant de générer une réponse. Pour soutenir cette approche, l'équipe a construit H2S-Dataset avec 6 647 exemples provenant de 11 familles de benchmarks et a introduit H2S-RL pour des récompenses au niveau du processus.

media Hugging Face Forums · il y a 3 j · 5 vues

Les modèles JEPA biologiques utilisent des contraintes biologiques pour modéliser la progression des maladies

Un nouveau projet open-source appelé Biological JEJA combine l'apprentissage de représentations de style JEPA avec des contraintes biologiques pour modéliser comment les maladies progressent au fil du temps. L'approche a été testée sur des données réelles d'ADNI provenant de 2 347 patients et comparée à plusieurs autres modèles.

arxiv arXiv cs.CL · il y a 7 j · 6 vues

R3Con applique les principes de réalisation de la pertinence pour améliorer le raisonnement à grande échelle

Les chercheurs proposent R3Con, un harnais qui opérationnalise les principes de la théorie cognitive pour construire des représentations efficaces de contextes très larges. Le système aborde le défi d'assembler des informations interdépendantes dispersées dans des sources vastes au-delà des limites de contexte standard du modèle.

media Hugging Face Forums · il y a 34 j · 44 vues

Inversion ontologique : mémoire vectorielle inter-modèles pour le pilotage et la récupération

Un préprint du chercheur indépendant Jason Van Pham propose de traduire des représentations continues entre des modèles figés afin de permettre le pilotage, la récupération et le raisonnement sans modification des poids. Le travail introduit une méthode où les concepts sont compilés en directions résiduelles dans l'espace d'un modèle et mappés via une transformation affine vers les couches cachées d'un autre modèle.