研究人员提出幅度门控（AG），这是一种非破坏性的推理时方法，通过调节前馈网络的激活幅度来改善大型语言模型的输出结构，而无需重新训练权重。该方法在保留预训练权重方向的同时纠正细微的格式或参数错误，从而解决了以往方向修正修复方法的局限性。

  • AG 定义了一个细粒度的干预系统，涵盖 P1/P2/P3 和特定分支站点，并通过将组合预言机余量与学习到的门控分离的协议进行评估。
  • 在 Qwen3.5-9B 上，类别级学习到的门控将工具/结构化/智能体性能从 38.66% 提升至 42.92%，其中 Hermes 函数调用任务提升了约 +7.6 分。
  • 在 Qwen3-8B 上，Hermes JSON 模式提升了 +11.36 分。
  • Qwen2.5-7B 保留了预言机余量，但当前的学习门控未能捕捉到它，表明部署需要特定于模型的路由。
  • 比较结果表明，熵 AG 和牛顿-舒尔茨窗口化 AG 均未在跨模型中表现出统一的主导性。

研究结果将工具结构化推理确定为最可信的安全前馈网络级优化目标，尽管仍需更广泛的跨模型评估。