Un nuevo estudio identifica la "brecha entre saber y usar", un fenómeno donde los modelos de lenguaje grandes memorizan hechos tras el ajuste fino pero fallan al aplicarlos en tareas de razonamiento posteriores. Los autores caracterizan esta brecha a través de déficits de precisión y retrasos temporales entre la memorización y la generalización.
Los investigadores utilizaron una técnica de intervención novedosa llamada auto-reparación para monitorear la dinámica de permeación del conocimiento interno durante el ajuste fino con datos no vistos. Este método identifica ubicaciones específicas de activación donde reubicar representaciones mejora significativamente los casos de generalización fallida, apoyando la hipótesis de que las representaciones memorizadas existen pero no se enrutan a capas computacionalmente efectivas. Para abordar esto, diseñaron una estrategia heurística que recupera el 58--75% de la mejora potencial de generalización.
Los hallazgos demuestran que la desalineación entre el conocimiento almacenado y las vías computacionales es un factor clave en los fallos del ajuste fino, ofreciendo un enfoque diagnóstico para mejorar la utilidad del modelo en diversos dominios.