Демонстрация показывает, что заморозка ключ-значения (KV) состояний из текста-руководства позволяет модели Qwen2.5-3B-Instruct применять новые инструкции без включения руководства в активный промпт. Метод включает однократное прохождение текста-руководства через модель, заморозку его KV кэша и последующую генерацию ответов поверх этого скрытого префикса.

  • В математическом тесте с вымышленным оператором модель с KV-наведением правильно вычисляла результаты для невидимых чисел, соответствуя производительности при инъекции видимого текста.
  • В задаче извлечения, требующей поэлементных списков, метод KV давал правильные выводы с первого токена при нескольких начальных значениях, тогда как видимая инъекция требовала значительного дрейфа, а попытки без руководства полностью проваливались.
  • Подход описывается как скрытый предварительно скомпилированный префикс, а не вычислительный механизм, что обеспечивает преимущества в скорости по сравнению с видимым дополнением промпта.

Эта техника позволяет передавать концепции и следовать инструкциям в больших языковых моделях за счет использования замороженных состояний KV вместо явного текстового контекста.