arxiv arXiv cs.AI · hace 3 d · fuente: hace 5 d · research

Highlight-Then-Summarize comprime la evidencia para mejorar la comprensión de contexto largo

Traducido del English → Español

Los investigadores proponen Highlight-Then-Summarize (H2S), un paradigma de compresión-antes-de-razonar que identifica la evidencia relevante para la pregunta y la integra en un resumen compacto antes de generar una respuesta. El equipo construye H2S-Dataset con 6,647 ejemplos e introduce H2S-RL para proporcionar recompensas a nivel de proceso para la selección de evidencia.

H2S-14B logra una puntuación promedio de 32.60 en el conjunto H2S-Bench de siete tareas bajo un presupuesto compartido de entrada de 128K y salida de 4K.
El modelo supera a Qwen3.8-27B por 10.17 puntos, obteniendo el mejor resultado general entre los modelos de código abierto evaluados.
H2S-14B conserva el 97.1% de su rendimiento con presupuesto de 16K con solo un presupuesto de salida de 4K mientras logra la puntuación más alta en Calidad de Evidencia-Resumen.

Estos resultados demuestran que seleccionar e integrar evidencia explícitamente mejora el razonamiento de contexto largo y permite una generación más compacta.

Importancia 2/3 arXiv cs.AI Research paper Retrieval & RAG

Artículos relacionados

arxiv arXiv cs.AI · hace 2 d · 1 vista

RareDx utiliza la optimización de políticas basada en grafos para mejorar el diagnóstico de enfermedades raras

Los autores presentan RareDx, un sistema que combina el uso controlado de evidencia con la optimización de políticas fundamentada en grafos de conocimiento para abordar el problema de razonamiento de cola larga del diagnóstico de enfermedades raras. La tubería de entrenamiento combina Top-10 post-entrenamiento con RareDx-KGPO, que proyecta las predicciones en un grafo canónico de enfermedades e integra relevancia graduada curada, proximidad ontológica, similitud biomédica y consistencia fenotípica.

arxiv arXiv cs.CL · hace 3 d · 6 vistas

Highlight-Then-Summarize comprime la evidencia para una mejor comprensión de contextos largos

Los investigadores proponen Highlight-Then-Summarize (H2S), un paradigma de compresión-razonamiento que identifica la evidencia relevante a la pregunta y la integra en un resumen compacto antes de generar una respuesta. Para apoyar este enfoque, el equipo construyó H2S-Dataset con 6.647 ejemplos de 11 familias de benchmarks e introdujo H2S-RL para recompensas a nivel de proceso.

media Hugging Face Forums · hace 3 d · 5 vistas

Los modelos JEPA biológicos utilizan restricciones biológicas para modelar la progresión de enfermedades

Un nuevo proyecto de código abierto llamado Biological JEJA combina el aprendizaje de representaciones al estilo JEPA con restricciones biológicas para modelar cómo progresan las enfermedades a lo largo del tiempo. El enfoque se probó en datos reales de ADNI de 2,347 pacientes y se comparó con varios otros modelos.

arxiv arXiv cs.CL · hace 7 d · 6 vistas

R3Con aplica principios de realización de relevancia para mejorar el razonamiento a gran escala

Los investigadores proponen R3Con, un arnés que operacionaliza los principios de la teoría cognitiva para construir representaciones efectivas de contextos muy grandes. El sistema aborda el desafío de ensamblar información interdependiente dispersa en fuentes vastas más allá de los límites de contexto estándar del modelo.

media Hugging Face Forums · hace 34 d · 44 vistas

Inversión ontológica: memoria vectorial entre modelos para dirección y recuperación

Un preprint del investigador independiente Jason Van Pham propone traducir representaciones continuas entre modelos congelados para permitir la dirección, la recuperación y el razonamiento sin editar pesos. El trabajo introduce un método donde los conceptos se compilan en direcciones residuales en el espacio de un modelo y se mapean mediante una transformación afín a las capas ocultas de otro modelo.