В данной статье выявлен особый режим отказа в агентах на основе больших языковых моделей, при котором им трудно отказываться от устаревших фактов в пользу актуальных, даже когда понимание текста сохранено. Авторы показывают, что этот «разрыв суперпозиции» сохраняется при различных масштабах моделей и размерах памяти, что указывает на его природу как обучаемого узкого места, а не ограничения контекстного окна или мощности модели.
- Замена полного контекста ограниченной памятью в LongMemEval снижает точность с 92% до 77% для GPT-5.4, что является статистически значимым разрывом (p<0.005).
- При увеличении длины диалога в 24 раза точность дополнительно падает с 68% до 28%, и предоставление пропорционально большего объема памяти не приводит к восстановлению.
- Авторы выпускают Supersede, открытую среду для обучения с подкреплением, которая вознаграждает агентов за использование актуальных значений и штрафует за устаревшие.
- Дообучение Qwen2.5-3B методом GRPO в этой среде почти удваивает точность суперпозиции на отложенной выборке с 9.0% до 16.7%.
Эта работа предоставляет первые доказательства того, что разрыв обновления памяти можно уменьшить путем обучения с использованием сигнала вознаграждения, направленного на временную актуальность фактов, а не просто измерять.