Механистический анализ показывает, что извлеченные головки необходимы причинно для долгосрочного воспроизведения контекста. Повышение частоты RoPE не снижает количество головок, и нулевое устранение низкочастотных измерений RoPE в извлечённых головках приводит к дозозависимому снижению воспроизведения, с эффектами, наблюдаемыми в пяти моделях и нескольких архитектурах.