arxiv arXiv cs.AI · ahora mismo · fuente: hace 3 d · research

GPT-5 y GPT-5 Nano igualan a expertos en la evaluación de investigaciones sobre oncogénesis microbiana

Traducido del English → Español

Un estudio demuestra que GPT-5 y GPT-5 Nano logran un rendimiento de nivel experto en la extracción de evidencia y la evaluación crítica de publicaciones de investigación sobre oncogénesis microbiana. Los investigadores evaluaron estos modelos junto con Gemini 2.5 Pro y Gemini 2.5 Flash frente a expertos del dominio utilizando un conjunto de datos de 24 artículos centrados en MMTV-LV y cáncer de mama.

La evaluación utilizó una plantilla estructurada con 77 elementos en múltiples tipos de preguntas, incluidas preguntas de opción múltiple (MCQ), escalas de Likert y respuestas de texto libre.
GPT-5 y GPT-5 Nano produjeron distribuciones de puntuación indistinguibles de las de los expertos humanos, mientras que los modelos Gemini fueron significativamente más indulgentes al aplicar los criterios.

Las alucinaciones fueron raras en todos los modelos, pero la evaluación metodológica y la identificación de contradicciones dentro de los textos completos siguieron siendo vulnerabilidades persistentes.

Los hallazgos respaldan el uso de LLM para la síntesis automatizada de evidencia sistemática, aunque se necesita un fortalecimiento adicional para tareas metodológicas complejas.

Importancia 2/3 arXiv cs.AI Google DeepMind OpenAI Evaluation & benchmarks Research paper

Artículos relacionados

arxiv arXiv cs.CL · hace 2 h

GPT-5 y GPT-5 Nano igualan a expertos en la extracción de evidencia sobre oncogénesis microbiana

Un estudio que evalúa modelos de lenguaje grandes en la síntesis sistemática de evidencia para la oncogénesis microbiana encontró que GPT-5 y GPT-5 Nano se desempeñan de manera indistinguible de los expertos del dominio. Los investigadores evaluaron Gemini 2.5 Pro, Gemini 2.5 Flash, GPT-5 y GPT-5 Nano en 24 artículos de investigación utilizando una plantilla estructurada de 77 elementos a través de múltiples tipos de preguntas.

arxiv arXiv cs.CL · hace 38 d

Calificación automatizada de exámenes de Linux/bash utilizando modelos de lenguaje grandes

Este estudio evalúa si cuatro modelos de lenguaje grandes de vanguardia (GPT, Claude Opus, Gemini y GLM) pueden aproximar el juicio experto al calificar respuestas cortas a comandos de Linux/bash. La investigación demuestra que los prompts estructurados mejoran significativamente la concordancia con los evaluadores humanos, estableciendo un marco para la evaluación asistida por IA en la educación informática.

arxiv arXiv cs.CL · hace 48 d · 2 vistas

Propiedad de las recomendaciones de IA: Mapa empírico de la propiedad de categorías de marca

Un estudio de 3,750 consultas en cinco industrias encuentra una concentración moderada de recomendaciones, con un coeficiente Gini medio de 0.28. El acuerdo entre modelos sobre las marcas más recomendadas fue solo del 41.6%, y los puntajes de desplazamiento variaron por industria, oscilando entre 0.4:1 y 4.3:1. Los resultados desafían la narrativa de 'el ganador se lo lleva todo' e introducen tres métricas reproducibles para el análisis de inteligencia competitiva.

arxiv arXiv cs.CL · hace 48 d · 2 vistas

OpenBioRQ: Benchmark para la Fidelidad de la Investigación Biomédica Agéntica

OpenBioRQ introduce un benchmark de 12,553 preguntas de investigación biomédica sin resolver en 12 dominios, diseñado para probar la fidelidad y la abstención de los modelos agénticos. Evalúa los modelos en un entorno de uso de herramientas sin claves de respuesta, utilizando evidencia real de seguimiento en lugar de conocimiento paramétrico, y revela un colapso agéntico significativo en las preguntas más difíciles donde las herramientas ya no se utilizan a pesar de ser críticas.

arxiv arXiv cs.CL · hace 48 d · 2 vistas

Los modelos de lenguaje grandes fallan al traducir Fongbe con precisión

Las evaluaciones muestran que las traducciones de Fongbe logran una calidad deficiente (1.0-2.2/5) en comparación con las puntuaciones aceptables de Hausa (4.0-4.5/5), con una brecha constante de 3x en BLEU. Las métricas automáticas como BERTScore muestran colapso de incrustaciones y débil correlación humana, especialmente para Hausa, mientras que Gemini supera a los demás para Fongbe y GPT-4o para Hausa en juicios humanos. Se necesitan tamaños mínimos de muestra de 2,500 oraciones para clasificaciones estables de modelos.