arxiv arXiv cs.CL · ahora mismo · research

VITA específico del corpus iguala o supera a los LLM de vanguardia en HealthBench

Traducido del English → Español

VITA, un sistema de generación aumentada por recuperación diseñado para entornos de ingresos bajos y medios, ocupa el primer lugar en el subconjunto en inglés de HealthBench, superando a GPT-5.4, o4-mini, Gemini 3.1 Pro y Claude Sonnet 4.6.

VITA obtuvo el 51,9 % de los puntos posibles de la rúbrica en 4.023 preguntas, por delante de GPT-5.4 (46,1 %) y Claude Sonnet 4.6 (37,3 %).
Al reevaluarse frente a modelos más recientes como GPT-5.5 utilizando un juez neutral, VITA alcanzó la paridad con GPT-5.5 en el puntaje medio por pregunta mientras lideraba en el puntaje ponderado por puntos.
El sistema recupera información de un corpus curado de guías específicas de enfermedades y datos sobre resistencia antimicrobiana específicos de India.

Los resultados indican que los sistemas RAG clínicos diseñados a medida siguen siendo competitivos frente a los LLM de vanguardia, demostrando que la especificidad del corpus mejora el anclaje a pesar de una menor pulida en la comunicación.

Importancia 2/3 Supera un benchmark de un laboratorio puntero arXiv cs.CL OpenAI Anthropic Google DeepMind Benchmark results Retrieval & RAG

Benchmarks

Benchmark	Modelo	Puntuación
HealthBench	VITA	51.9%
HealthBench	GPT-5.4	46.1%
HealthBench	o4-mini	44.3%
HealthBench	Gemini 3.1 Pro	42.6%
HealthBench	Claude Sonnet 4.6	37.3%

Artículos relacionados

arxiv arXiv cs.CL · hace 39 d

La evaluación zero-shot muestra que Gemini lidera a los LLM en la taxonomía de emociones de 13 clases

Un estudio evaluó tres modelos de lenguaje grandes comerciales: Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) y Gemini (gemini-2.5-flash) en una tarea de clasificación fina de emociones zero-shot utilizando una muestra estratificada de 1.000 oraciones del conjunto de datos boltuix/emotions.

arxiv arXiv cs.CL · hace 55 d · 1 vista

REDACT: Benchmark multilingüe de PII con control sistemático

REDACT introduce un benchmark multilingüe con control sistemático para la detección de información personalmente identificable, que incluye 51 tipos de entidades, 4.127 patrones de forma superficial y 25 idiomas. Evalúa cinco detectores en 1.000 registros, revelando que los modelos basados en reglas fallan en datos de alto riesgo, mientras que los LLMs tienen un mejor desempeño, especialmente en categorías de alta sensibilidad. Una evaluación de LLM sin referencia confirma que la asignación por nivel de sensibilidad es el eje de evaluación más desafiante.

arxiv arXiv cs.CL · hace 57 d · 1 vista

ProvenanceGuard: Verificación de factualidad consciente de la fuente para agentes LLM basados en MCP

ProvenanceGuard introduce un verificador consciente de la fuente para agentes LLM basados en MCP que detecta la confluencia entre fuentes al enrutar afirmaciones a fuentes de evidencia específicas y comparar la atribución declarada con la propiedad real de la fuente. Logra una F1 por bloque de 0.802 y una precisión de fuente de 0.858 en 260 afirmaciones elegibles por fuente, superando a las líneas base ciegas a la fuente, y detecta todos los intercambios de atribución inyectados en 50 pruebas clínicas.

arxiv arXiv cs.AI · hace 57 d

ProvenanceGuard: Verificación de factualidad consciente de la fuente para agentes LLM basados en MCP

ProvenanceGuard introduce un verificador consciente de la fuente para agentes LLM basados en MCP que detecta la confluencia entre fuentes al enrutar afirmaciones a fuentes de evidencia específicas y comparar la atribución declarada con la propiedad real de la fuente. Logra un F1 por bloque de 0.802 y una precisión de fuente de 0.858 en 260 afirmaciones elegibles por fuente, superando a las líneas base ciegas a la fuente, y detecta todos los intercambios de atribución inyectados en 50 pruebas clínicas.

media IntuitionLabs · hace 119 d · 45 vistas

GPT-5.2 alcanza ~53% en el benchmark ARC-AGI-2 en diciembre de 2025

GPT-5.2 de OpenAI, lanzado en diciembre de 2025, marcó un hito significativo en el razonamiento abstracto de la IA al lograr aproximadamente un 53–54% de éxito en el benchmark ARC-AGI-2. Este rendimiento superó ampliamente el estado del arte anterior, donde ningún sistema de modelo cerrado había logrado superar el 5% de éxito.