Los investigadores presentan ThReadMed-QA, un conjunto de datos de diálogo médico multironda con 2.437 hilos de conversación derivados de AskDocs, para evaluar si los modelos de lenguaje grandes pueden detectar y corregir confiablemente los malentendidos de los pacientes a lo largo del tiempo. El estudio destaca que los marcos de evaluación actuales no logran capturar cómo las creencias falsas persisten o evolucionan a través de múltiples turnos de interacción.

  • ThReadMed-QA comprende 8.204 pares de pregunta-respuesta diseñados para la evaluación sistemática de la corrección de malentendidos en contextos multironda.
  • Se evaluaron cinco LLM utilizando un marco LLM-as-a-Judge basado en rúbricas que puntúa su capacidad para identificar y corregir creencias falsas.
  • GPT-5 y Claude-Haiku corrigieron malentendidos alrededor del 85% en las preguntas iniciales, pero cayeron a aproximadamente el 50% dentro de dos seguimientos.
  • Un análisis de oráculo que reemplaza las salidas previas del modelo con respuestas de médicos mostró que la propagación de errores impulsa gran parte de la degradación del rendimiento.

Los hallazgos indican que incluso los modelos de vanguardia se degradan sustancialmente en turnos posteriores, lo que lleva a orientaciones inconsistentes y potencialmente inseguras en entornos dirigidos a pacientes.