llama.cppプロジェクトはバージョンb9885をリリースしました。これには、タイル化行列乗算を有効にすることでAIXプラットフォームの重要な修正が含まれています。この変更により、matmul_tiledパスでの大きなバッファに起因するセグメンテーションフォールトを防ぐために、ローカルスタックバッファのフットプリントが削減されます。

  • AIX上でFP32、Q4_0、Q8_0モデルにおいてPP_Speedが約2倍向上することが確認されました。
  • このリリースでは、macOS（Apple SiliconおよびIntel）、Linux（Ubuntu x64、arm64、s390x）、Windows（CPU、CUDA、Vulkan、ROCmなど）、Android、openEuler向けのバイナリが提供されています。
  • macOS Apple Silicon用のKleidiAIサポートはこのビルドでは無効になっています。

このアップデートは、AIXシステムでの安定性を確保しつつ、対応する量子化フォーマットにおいて大幅な推論速度の向上をもたらします。