arxiv arXiv cs.LG · il y a 1 h · research

Le système RAG clinique VITA égale ou surpasse les LLM de pointe sur HealthBench

Traduit de English → Français

Un système de génération augmentée par récupération (RAG) conçu spécifiquement, nommé VITA et destiné aux contextes à revenus faibles et moyens, a été évalué contre des modèles de langage larges à usage général sur le benchmark HealthBench. Sur 4 023 questions jugées par un juge GPT-4.1, VITA s'est classé premier avec 51,9 % des points possibles de la grille d'évaluation, surpassant GPT-5.4, o4-mini, Gemini 3.1 Pro et Claude Sonnet 4.6.

Lors d'une réévaluation contre des modèles plus récents à l'aide d'un juge neutre à poids ouvert, VITA a atteint la parité avec GPT-5.5 sur le score moyen par question, tout en menant sur le score pondéré par points et en remportant le plus grand nombre de questions. L'étude indique que la spécificité du corpus améliore l'ancrage dans les contextes cliniques, permettant aux systèmes spécialisés de rester compétitifs face aux LLM de pointe malgré un potentiel manque de finesse dans la communication.

Importance 2/3 Dépasse un benchmark d'un laboratoire de premier plan arXiv cs.LG Zhipu AI Benchmark results Retrieval & RAG

Benchmarks

Benchmark	Modèle	Score
HealthBench	VITA	51.9%
HealthBench	GPT-5.4	46.1%
HealthBench	o4-mini	44.3%
HealthBench	Gemini 3.1 Pro	42.6%
HealthBench	Claude Sonnet 4.6	37.3%

Lire l'original

Le VITA RAG spécifique au corpus égale ou bat les LLM de pointe sur HealthBench

VITA, un système de génération augmentée par récupération conçu pour les contextes à revenu faible et intermédiaire, se classe premier sur le sous-ensemble en anglais de HealthBench, surpassant GPT-5.4, o4-mini, Gemini 3.1 Pro et Claude Sonnet 4.6.

media r/LocalLLaMA · il y a 13 j · 2 vues

DeepSeek V4-Flash atteint 50 à l'indice ArtificialAnalysis

Le nouveau modèle DeepSeek V4-Flash a obtenu un score de 50 à l'indice ArtificialAnalysis. Ce résultat le place à seulement un point en dessous de GLM-5.2 et GPT-5.6 Luna.

media MarkTechPost · il y a 25 j · 12 vues

Kimi K3, DeepSeek V4 Pro et GLM-5.2 comparés sur les benchmarks, la licence et le coût de déploiement

Une comparaison de trois modèles Mixture-of-Experts à poids ouverts — Kimi K3 de Moonshot AI, DeepSeek V4 Pro et GLM-5.2 de Zhipu AI — évalue leurs capacités, leurs conditions de licence et leurs coûts de déploiement pour les charges de travail de codage et d'agents sur le long terme.

arxiv arXiv cs.CL · il y a 28 j

Le système BioASQ 2026 utilise une ré-récupération pragmatique en termes de coût et une fusion par sélection multi-modèles

Les auteurs décrivent leur système BioASQ Task 14B 2026, qui se concentre sur l'optimisation des stratégies de re-fetching de la récupération et la combinaison des réponses provenant de plusieurs modèles de langage. L'approche emploie un pipeline de récupération hybride de première étape utilisant BGE et BM25, couplé à une décomposition pilotée par agent sur PubMed, Europe PMC et iCite.

media r/LocalLLaMA · il y a 29 j

Un utilisateur construit un pipeline de mémoire sur Qwen3 235B A22B, classé n°1 sur LongMemEval-S

Un utilisateur a développé et open-sourcé un pipeline de mémoire à long terme pour les assistants IA qui exécute ses composants de stockage et de récupération sur le modèle Qwen3 235B A22B Instruct 2507. Le système a obtenu un score de 470 sur 500 au benchmark LongMemEval-S, se classant premier parmi les systèmes connus tout en étant rapporté comme environ dix fois plus efficace en tokens que ses concurrents.