Исследователи предлагают Amplitude Gating (AG), недеструктивный метод во время вывода, который модулирует величины активации сети прямого распространения для улучшения структурированных выходов в больших языковых моделях без переобучения весов. Этот подход решает ограничения предыдущих ремонтов с изменением направления, сохраняя направления предварительно обученных весов и исправляя небольшие ошибки формата или аргументов.
- AG определяет систему тонкозернистого вмешательства, охватывающую P1/P2/P3 и специфичные для ветвей участки, оцениваемую через протокол, разделяющий запас заголовков комбинационного оракула и выученные вентили.
- На Qwen3.5-9B выученные на уровне категорий вентили улучшают производительность по инструментам/структурированным/агентным задачам с 38,66% до 42,92%, при этом задачи вызова функций Hermes получают примерно +7,6 балла.
- На Qwen3-8B режим JSON Hermes улучшает результат на +11,36 балла.
- Qwen2.5-7B сохраняет запас оракула, но текущие выученные вентили не способны его захватить, что указывает на необходимость маршрутизации, специфичной для модели, при развёртывании.
- Сравнения показывают, что ни AG по энтропии, ни AG с окном Ньютона-Шульца не являются равномерно доминирующими среди моделей.
Результаты определяют вывод со структурированными инструментами как наиболее достоверную цель для безопасной оптимизации на уровне FFN, хотя более широкая кросс-модельная оценка остаётся необходимой.