Un análisis mecanicista muestra que los cabezales de recuperación son causalmente necesarios para la recuperación de contexto largo. Las frecuencias más altas de RoPE no reducen el número de cabezales, y anular las dimensiones de baja frecuencia de RoPE en los cabezales de recuperación degrada la recuperación de manera dependiente de la dosis, con efectos observados en cinco modelos y múltiples arquitecturas.