Исследователи выявили в Llama-3.1-70B-Instruct «подцепь обратного отсчёта», которая позволяет языковым моделям отслеживать оставшиеся токены при выполнении различных задач, таких как написание предложений фиксированной длины или форматирование таблиц.
В ходе исследования этот механизм был изолирован в контролируемых условиях, и обнаружено, что он использует идентичный мотив, ранее обнаруженный в других передовых LLM, что указывает на то, что эта структура является общей для разных моделей. Ненадзорное зондирование на наборах данных естественного языка показало, что подцепь обрабатывает задачи, в которых целевые длины выводятся из контекста, а не указываются явно.
Эта работа демонстрирует, что реверс-инжиниринг подцепей помогает объяснить, как конкретные поведения обобщаются от единичных примеров к разнообразным задачам и различным моделям.