Un estudio demuestra que la memoria de un modelo de lenguaje que contiene conclusiones incorrectas es más perjudicial que no tener memoria en absoluto. Cuando los modelos retienen valores obsoletos mientras descartan trabajo de apoyo, emiten respuestas confiantes pero erróneas, mientras que las memorias vacías permiten la abstención. Este fenómeno, denominado memoria frágil, se observó en siete modelos donde la dirección del fallo nunca se invirtió independientemente de la tarea o disposición. Los investigadores introdujeron la evaluación reclaim para medir la corregibilidad comprimiendo interacciones y probando si las correcciones recuperan la verdad fundamental sin usar un juez. Los resultados indican que la corregibilidad depende de si la información fuente sobrevive a la compresión en lugar de la capacidad del modelo. Una política centrada en la fuente, que mantiene fuentes recomputables y descarta conclusiones re-derivables, restauró la corregibilidad significativamente mejor que los controles con longitud coincidente. En bucles de memoria encadenados, los errores de fuente descartada corrompen irreparablemente los pasos posteriores, mientras que la corrección propuesta mantiene horizontes de rendimiento acotados. Los hallazgos se replican en tres sistemas desplegados y datos de diálogo reales, con un oráculo construido a mano alcanzando una precisión perfecta.
La evaluación Reclaim muestra que la memoria con pérdida es peor que no tener memoria
Traducido del English → Español