llama.cppプロジェクトはビルドb10829をリリースし、ゲテッドデルタネット（GDN）のクエリ/キー正規化の実装を修正しました。この変更により、正規化方法が`max`から`rsqrt`に切り替わり、flash-linear-attentionで使用される定義と整合性が取られました。

  • GDN q/k正規化は、flash-linear-attentionで定義されている通り`l2norm`を使用するようになりました: `x * rsqrt(sum(x*x) + eps)`。
  • 以前、llama.cppでは`ggml_l2_norm`が使用されており、これはルートの内部にイプシロンを配置するのではなく、`max(sqrt(sum(x*x)), eps)`を通じてクランプを適用していました。
  • この修正は、プルリクエスト#40842で修正される前にQwen3-NextのHugging Face transformersライブラリにも影響を与えていた不一致に対処するものです。
  • このアップデートにより、イプシロンが平方根計算内に含まれる参照実装との一貫性が確保されます。

この修正により、flash-linear-attentionに基づくものなど、GDNレイヤーを使用するモデルが参照実装と完全に同じ挙動を示すようになります。