arxiv arXiv cs.CL · agora mesmo · research

VITA RAG específico do corpus iguala ou supera LLMs de ponta no HealthBench

Traduzido do English → Português (BR)

O VITA, um sistema de geração aumentada por recuperação projetado para contextos de baixa e média renda, ocupa o primeiro lugar no subconjunto em inglês do HealthBench, superando GPT-5.4, o4-mini, Gemini 3.1 Pro e Claude Sonnet 4.6.

O VITA obteve 51,9% dos pontos possíveis da rubrica em 4.023 perguntas, à frente do GPT-5.4 (46,1%) e do Claude Sonnet 4.6 (37,3%).
Ao ser reavaliado contra modelos mais recentes como o GPT-5.5 usando um juiz neutro, o VITA alcançou paridade com o GPT-5.5 na pontuação média por pergunta, enquanto liderava na pontuação ponderada por pontos.
O sistema recupera informações de um corpus curado de diretrizes específicas de doenças e dados sobre resistência antimicrobiana específicos da Índia.

Os resultados indicam que sistemas RAG clínicos construídos para fins específicos permanecem competitivos em relação aos LLMs de ponta, demonstrando que a especificidade do corpus melhora o fundamento apesar da menor polidez na comunicação.

Importância 2/3 Supera um benchmark de um laboratório de ponta arXiv cs.CL OpenAI Anthropic Google DeepMind Benchmark results Retrieval & RAG

Benchmarks

Benchmark	Modelo	Pontuação
HealthBench	VITA	51.9%
HealthBench	GPT-5.4	46.1%
HealthBench	o4-mini	44.3%
HealthBench	Gemini 3.1 Pro	42.6%
HealthBench	Claude Sonnet 4.6	37.3%

Ler original

Avaliação zero-shot mostra que o Gemini lidera os LLMs na taxonomia de emoções de 13 classes

Um estudo avaliou três grandes modelos de linguagem comerciais — Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) e Gemini (gemini-2.5-flash) — em uma tarefa de classificação fina de emoções zero-shot usando uma amostra estratificada de 1.000 frases do conjunto de dados boltuix/emotions.

media IntuitionLabs · há 119 d · 45 visualizações

GPT-5.2 atinge ~53% no benchmark ARC-AGI-2 em dezembro de 2025

O GPT-5.2 da OpenAI, lançado em dezembro de 2025, marcou um marco significativo no raciocínio abstrativo de IA ao alcançar aproximadamente uma taxa de sucesso de 53–54% no benchmark ARC-AGI-2. Este desempenho superou amplamente o estado da arte anterior, onde nenhum sistema de modelo fechado havia anteriormente ultrapassado sequer 5% de sucesso nessas tarefas.

lab ARC Prize · há 434 d · 1 visualização

Testes de principais sistemas de raciocínio de IA não revelam um vencedor claro nos benchmarks ARC

Uma revisão dos sistemas de raciocínio de ponta de laboratórios como OpenAI, DeepMind, xAI, DeepSeek e Anthropic revela que, embora o escalonamento de computação no tempo de teste melhore a precisão, ele reduz significativamente a eficiência. A análise identifica uma fronteira de Pareto para as pontuações ARC-AGI-1, mas nota falha completa no benchmark mais desafiador ARC-AGI-2, sugerindo limitações comuns em todos os principais modelos.

arxiv arXiv cs.LG · há 2 d · 2 visualizações

Pesquisadores exploram reutilização de criptografia entre sessões para roubar rastros de raciocínio de APIs de LLM

Pesquisadores identificaram uma vulnerabilidade na forma como os principais provedores de modelos de linguagem grandes manipulam os rastros de raciocínio passo a passo, que são retornados como blocos criptografados para uso no lado do cliente. Eles descobriram que esses blocos criptografados são totalmente compatíveis e intercambiáveis entre diferentes sessões, usuários e modelos dentro do ecossistema do mesmo provedor.

media MarkTechPost · há 27 d

Mistral Vibe for Code lidera quatro agentes de codificação na tarefa de scaffold para PR

Uma comparação de capacidades do Mistral Vibe for Code, Claude Code, OpenAI Codex e Cursor avaliou seu desempenho em um fluxo de trabalho multiestágio envolvendo scaffolding, testes e geração de pull request. As pontuações foram derivadas de recursos documentados, benchmarks publicados e especificações dos fornecedores até 14 de julho de 2026.