arxiv arXiv cs.LG · há 1 h · research

Sistema RAG clínico VITA iguala ou supera LLMs de ponta no HealthBench

Traduzido do English → Português (BR)

Um sistema de geração aumentada por recuperação (RAG) feito sob medida chamado VITA, projetado para ambientes de baixa e média renda, foi avaliado contra modelos de linguagem grandes de propósito geral no benchmark HealthBench. Em 4.023 perguntas avaliadas por um juiz GPT-4.1, o VITA ficou em primeiro lugar com 51,9% dos pontos possíveis da rubrica, superando GPT-5.4, o4-mini, Gemini 3.1 Pro e Claude Sonnet 4.6.

Ao ser reavaliado contra modelos mais recentes usando um juiz de peso aberto neutro, o VITA alcançou paridade com o GPT-5.5 na pontuação média por pergunta, enquanto liderava na pontuação ponderada por pontos e venceu a maior quantidade de perguntas. O estudo indica que a especificidade do corpus melhora o grounding em contextos clínicos, permitindo que sistemas especializados permaneçam competitivos frente aos LLMs de ponta apesar de um possível menor refinamento na comunicação.

Importância 2/3 Supera um benchmark de um laboratório de ponta arXiv cs.LG Zhipu AI Benchmark results Retrieval & RAG

Benchmarks

Benchmark	Modelo	Pontuação
HealthBench	VITA	51.9%
HealthBench	GPT-5.4	46.1%
HealthBench	o4-mini	44.3%
HealthBench	Gemini 3.1 Pro	42.6%
HealthBench	Claude Sonnet 4.6	37.3%

Ler original

VITA RAG específico do corpus iguala ou supera LLMs de ponta no HealthBench

O VITA, um sistema de geração aumentada por recuperação projetado para contextos de baixa e média renda, ocupa o primeiro lugar no subconjunto em inglês do HealthBench, superando GPT-5.4, o4-mini, Gemini 3.1 Pro e Claude Sonnet 4.6.

media r/LocalLLaMA · há 13 d · 2 visualizações

DeepSeek V4-Flash alcança 50 no Índice ArtificialAnalysis

O novo modelo DeepSeek V4-Flash conseguiu uma pontuação de 50 no Índice ArtificialAnalysis. Esse resultado o coloca a apenas um ponto abaixo do GLM-5.2 e do GPT-5.6 Luna.

media MarkTechPost · há 25 d · 12 visualizações

Kimi K3, DeepSeek V4 Pro e GLM-5.2 comparados em benchmarks, licença e custo de serviço

Uma comparação entre três modelos esparsos Mixture-of-Experts de pesos abertos — Kimi K3 da Moonshot AI, DeepSeek V4 Pro e GLM-5.2 da Zhipu AI — avalia suas capacidades, termos de licenciamento e custos de serviço para cargas de trabalho de codificação e agentes em horizontes longos.

arxiv arXiv cs.CL · há 28 d

Sistema BioASQ 2026 usa re-recuperação pragmática em custo e fusão de seleção multi-modelo

Os autores descrevem seu sistema para a Tarefa 14B do BioASQ 2026, que foca na otimização das estratégias de re-busca e na combinação de respostas de múltiplos modelos de linguagem. A abordagem emprega um pipeline de recuperação híbrido de primeira etapa usando BGE e BM25, acoplado com uma decomposição orientada por agentes sobre PubMed, Europe PMC e iCite.

media r/LocalLLaMA · há 29 d

Usuário construi pipeline de memória no Qwen3 235B A22B que ocupa o #1 no LongMemEval-S

Um usuário desenvolveu e liberou como código aberto um pipeline de memória de longo prazo para assistentes de IA que executa seus componentes de armazenamento e recuperação no modelo Qwen3 235B A22B Instruct 2507. O sistema obteve uma pontuação de 470 de 500 no benchmark LongMemEval-S, classificando-se em primeiro lugar entre os sistemas conhecidos, enquanto supostamente é aproximadamente dez vezes mais eficiente em tokens do que a concorrência.