El artículo presenta SHIFT, un marco novel que mitiga conflictos de conocimiento en la Generación Aumentada con Recuperación (RAG) reformulando la modificación a nivel de neurona como modulación de puerta aprendible. Este enfoque permite a los modelos de lenguaje grandes regular adaptativamente las activaciones internas para resolver conflictos entre el contexto recuperado y el conocimiento paramétrico.
- SHIFT equipa a los LLMs con un módulo de puerta ligero mientras mantiene congelado el modelo base, optimizando menos del 0.01% de parámetros entrenables.
- El módulo de puerta ajusta las representaciones internas durante la generación para aprovechar adaptativamente tanto el conocimiento contextual como el paramétrico.
- Experimentos extensos en seis conjuntos de datos validan la efectividad de SHIFT en comparación con varias líneas base competidoras.
Este método aborda el riesgo de efectos en cascada no deseados de la edición tradicional de neuronas, permitiendo a los LLMs depender más eficazmente de la evidencia contextual sin comprometer las capacidades generales.