KVEraser обеспечивает эффективное локальное удаление контекста в больших языковых моделях, заменяя только состояния кэша KV для удаленного участка на обученные направляющие состояния. Оно достигает почти полной переработки производительности на задачах в области применения и обеспечивает рост задержки на 24% по сравнению с ростом задержки в 17,6 раз при полной переработке, с увеличением скорости до 3--4 раз на задачах по вопросам длинных документов.