llama.cpp プロジェクトはバージョン b10795 をリリースし、SYCL バックエンドの新しい最適化が含まれています。このアップデートにより、GGML_SYCL_ENABLE_FUSION フラグの下で RMS_NORM+MUL+ADD および ADD+ADD 残差チェーンの融合が有効になります。
- 融合された ADD+ADD 演算は、独立した add() 関数と同じブロードキャストインデックスと型マトリクスを再利用し、f32、f16、i32、i16、bf16、および非連続データをサポートします。
- 融合ロジックでサポートされていない組み合わせは、互換性を維持するために 2 つの別々の add() 起動にフォールバックします。
このリリースでは、CUDA、ROCm、Vulkan、OpenVINO を含むさまざまなハードウェアアクセラレータ向けに、macOS、Linux、Windows、Android、openEuler のバイナリが提供されています。