PASTA: Un enfoque de paráfrasis y autoentrenamiento para la actualización de conocimientos en LLM

Este artículo presenta PASTA, un marco diseñado para integrar información factual detallada de artículos de noticias en Modelos de Lenguaje Grande (LLM) para abordar el desafío de la actualización de conocimientos. El enfoque combina aumento de datos, generación de preguntas y respuestas, y un novedoso proceso de autoaprendizaje de Optimización Directa de Preferencia (DPO) para habilitar la sobrescritura de conocimientos y la supresión de alucinaciones.

PASTA utiliza una combinación de aumento de datos y generación de preguntas y respuestas junto con un proceso de DPO de autoaprendizaje. El método permite simultáneamente la sobrescritura de conocimientos y suprime las alucinaciones en los modelos actualizados. La evaluación experimental en artículos web publicados después del corte de conocimiento del modelo base mostró mejoras de precisión de 0.02 a 0.82. El marco mantiene las capacidades generales de lenguaje mientras crea LLM especializados por dominio.

PASTA demuestra efectividad para construir modelos especializados que responden con precisión preguntas sobre información factual específica, como artículos de noticias, con los cuales los LLM típicamente tienen dificultades.