연구자들은 Amplitude Gating (AG)를 제안했습니다. 이는 사전 학습된 가중치 방향을 보존하면서 작은 형식 또는 인자 오류를 수정하여 대규모 언어 모델의 구조화된 출력을 재학습 없이 개선하는 비파괴적 추론 시간 방법입니다.
- AG는 P1/P2/P3 및 분기별 사이트 전반에 걸친 세밀한 개입 시스템을 정의하며, 조합 오라클 여백과 학습된 게이트를 분리하는 프로토콜을 통해 평가됩니다.
- Qwen3.5-9B에서 카테고리 수준 학습된 게이트는 도구/구조화/에이전트 성능을 38.66%에서 42.92%로 개선하며, Hermes 함수 호출 작업은 약 +7.6 포인트 향상되었습니다.
- Qwen3-8B에서 Hermes JSON 모드는 +11.36 포인트 향상되었습니다.
- Qwen2.5-7B는 오라클 여백을 유지하지만 현재 학습된 게이트는 이를 포착하지 못해 배포에는 모델별 라우팅이 필요함을 나타냅니다.
- 비교 결과, 엔트로피 AG와 뉴턴-슐츠 윈도우 AG 모두 모델 전반에 걸쳐 균일하게 우월하지 않음이 드러났습니다.
이 결과는 도구 구조화 추론이 안전한 FFN 수준 최적화의 가장 신뢰할 수 있는 대상임을 확인하지만, 더 광범위한 교차 모델 평가가 여전히 필요함을 시사합니다.