arxiv arXiv cs.CL · há 3 d · fonte: há 5 d · research

Highlight-Then-Summarize comprime evidências para melhor compreensão de contexto longo

Traduzido do English → Português (BR)

Pesquisadores propõem o Highlight-Then-Summarize (H2S), um paradigma de compressão-então-raciocínio que identifica evidências relevantes à pergunta e as integra em um resumo compacto antes de gerar uma resposta. Para apoiar essa abordagem, a equipe construiu o H2S-Dataset com 6.647 exemplos de 11 famílias de benchmarks e introduziu o H2S-RL para recompensas em nível de processo.

O H2S-14B alcança uma pontuação média de 32,60 no H2S-Bench sob um orçamento compartilhado de entrada de 128K e saída de 4K.
O modelo supera o Qwen3.8-27B em 10,17 pontos, garantindo o melhor resultado geral entre os modelos de código aberto avaliados.
O H2S-14B retém 97,1% de seu desempenho com orçamento de 16K apenas com um orçamento de saída de 4K, enquanto alcança a maior pontuação de Qualidade do Resumo de Evidências.

Esses resultados demonstram que a seleção explícita e a integração de evidências melhoram o raciocínio em contexto longo, permitindo uma geração mais compacta.

Importância 2/3 arXiv cs.CL Research paper Retrieval & RAG

Artigos relacionados

arxiv arXiv cs.AI · há 2 d · 1 visualização

RareDx usa otimização de política baseada em grafos para melhorar o diagnóstico de doenças raras

Os autores apresentam o RareDx, um sistema que acopla o uso controlado de evidências com otimização de política fundamentada em grafos de conhecimento para abordar o problema de raciocínio de cauda longa no diagnóstico de doenças raras. O pipeline de treinamento combina Top-10 pós-treinamento com RareDx-KGPO, que projeta previsões em um grafo canônico de doenças e integra relevância graduada curada, proximidade ontológica, similaridade biomédica e consistência fenotípica.

arxiv arXiv cs.AI · há 3 d · 15 visualizações

Highlight-Then-Summarize comprime evidências para melhorar a compreensão de contexto longo

Pesquisadores propõem o Highlight-Then-Summarize (H2S), um paradigma de compressão seguida de raciocínio que identifica evidências relevantes à pergunta e as integra em um resumo compacto antes de gerar uma resposta. A equipe constrói o H2S-Dataset com 6.647 exemplos e introduz o H2S-RL para fornecer recompensas em nível de processo para a seleção de evidências.

media Hugging Face Forums · há 3 d · 5 visualizações

Modelos JEPA biológicos usam restrições biológicas para modelar a progressão de doenças

Um novo projeto de código aberto chamado Biological JEJA combina aprendizado de representação no estilo JEPA com restrições biológicas para modelar como as doenças progridem ao longo do tempo. A abordagem foi testada em dados reais do ADNI de 2.347 pacientes e comparada a vários outros modelos.

arxiv arXiv cs.CL · há 7 d · 6 visualizações

R3Con aplica princípios de realização de relevância para melhorar o raciocínio em larga escala

Pesquisadores propõem o R3Con, uma estrutura que operacionaliza princípios da teoria cognitiva para construir representações eficazes de contextos muito grandes. O sistema aborda o desafio de montar informações interdependentes espalhadas por fontes vastas além dos limites padrão de contexto do modelo.

media Hugging Face Forums · há 34 d · 44 visualizações

Inversão ontológica: memória vetorial entre modelos para direcionamento e recuperação

Um preprint do pesquisador independente Jason Van Pham propõe traduzir representações contínuas entre modelos congelados para permitir direcionamento, recuperação e raciocínio sem edição de pesos. O trabalho apresenta um método no qual conceitos são compilados em direções residuais no espaço de um modelo e mapeados por meio de uma transformação afim para as camadas ocultas de outro modelo.