arxiv arXiv cs.CL · hace 1 h · fuente: hace 3 d · research

GPT-5 y GPT-5 Nano igualan a expertos en la extracción de evidencia sobre oncogénesis microbiana

Traducido del English → Español

Un estudio que evalúa modelos de lenguaje grandes en la síntesis sistemática de evidencia para la oncogénesis microbiana encontró que GPT-5 y GPT-5 Nano se desempeñan de manera indistinguible de los expertos del dominio. Los investigadores evaluaron Gemini 2.5 Pro, Gemini 2.5 Flash, GPT-5 y GPT-5 Nano en 24 artículos de investigación utilizando una plantilla estructurada de 77 elementos a través de múltiples tipos de preguntas.

Las respuestas de los LLM se alinearon estrechamente con las de los expertos en todos los tipos de preguntas, incluyendo MCQ, escala de Likert, selección múltiple y formatos de texto libre.
GPT-5 y GPT-5 Nano lograron distribuciones de puntuación estadísticamente indistinguibles de las de los expertos humanos.
Los modelos Gemini se comportaron de manera similar, pero fueron significativamente más indulgentes al aplicar los criterios de oncogénesis microbiana.

Las alucinaciones fueron raras, aunque la evaluación metodológica y la identificación de contradicciones siguieron siendo vulnerabilidades persistentes para todos los modelos.

Los resultados respaldan el uso de LLMs para la síntesis automatizada de evidencia sistemática con el fin de identificar pares microbio-cáncer, aunque se necesita un fortalecimiento adicional para tareas de análisis de texto completo complejas.

Importancia 2/3 arXiv cs.CL Google DeepMind OpenAI Evaluation & benchmarks Research paper

Artículos relacionados

arxiv arXiv cs.CL · hace 38 d

Calificación automatizada de exámenes de Linux/bash utilizando modelos de lenguaje grandes

Este estudio evalúa si cuatro modelos de lenguaje grandes de vanguardia (GPT, Claude Opus, Gemini y GLM) pueden aproximar el juicio experto al calificar respuestas cortas a comandos de Linux/bash. La investigación demuestra que los prompts estructurados mejoran significativamente la concordancia con los evaluadores humanos, estableciendo un marco para la evaluación asistida por IA en la educación informática.

arxiv arXiv cs.CL · hace 48 d · 2 vistas

Propiedad de las recomendaciones de IA: Mapa empírico de la propiedad de categorías de marca

Un estudio de 3,750 consultas en cinco industrias encuentra una concentración moderada de recomendaciones, con un coeficiente Gini medio de 0.28. El acuerdo entre modelos sobre las marcas más recomendadas fue solo del 41.6%, y los puntajes de desplazamiento variaron por industria, oscilando entre 0.4:1 y 4.3:1. Los resultados desafían la narrativa de 'el ganador se lo lleva todo' e introducen tres métricas reproducibles para el análisis de inteligencia competitiva.

arxiv arXiv cs.CL · hace 48 d · 2 vistas

OpenBioRQ: Benchmark para la Fidelidad de la Investigación Biomédica Agéntica

OpenBioRQ introduce un benchmark de 12,553 preguntas de investigación biomédica sin resolver en 12 dominios, diseñado para probar la fidelidad y la abstención de los modelos agénticos. Evalúa los modelos en un entorno de uso de herramientas sin claves de respuesta, utilizando evidencia real de seguimiento en lugar de conocimiento paramétrico, y revela un colapso agéntico significativo en las preguntas más difíciles donde las herramientas ya no se utilizan a pesar de ser críticas.

arxiv arXiv cs.CL · hace 48 d · 2 vistas

Los modelos de lenguaje grandes fallan al traducir Fongbe con precisión

Las evaluaciones muestran que las traducciones de Fongbe logran una calidad deficiente (1.0-2.2/5) en comparación con las puntuaciones aceptables de Hausa (4.0-4.5/5), con una brecha constante de 3x en BLEU. Las métricas automáticas como BERTScore muestran colapso de incrustaciones y débil correlación humana, especialmente para Hausa, mientras que Gemini supera a los demás para Fongbe y GPT-4o para Hausa en juicios humanos. Se necesitan tamaños mínimos de muestra de 2,500 oraciones para clasificaciones estables de modelos.

arxiv arXiv cs.LG · hace 52 d

Alineación de LLM mediante Retroalimentación Implícita del Usuario

Un nuevo conjunto de datos, IFLLM, recopila trayectorias del ratón y datos de fijación ocular de usuarios que interactúan con LLMs. Muestra que la retroalimentación implícita mejora significativamente la alineación de LLMs, aumentando la precisión del modelo de recompensa basado en texto del 55% al 64% y casi triplicando las mejoras en la calidad de respuesta después del entrenamiento DPO en ocho LLMs.