Le projet llama.cpp a publié la version b9885, qui inclut une correction critique pour la plateforme AIX en activant la multiplication matricielle par tuiles. Ce changement réduit l'empreinte du tampon de pile local afin d'éviter les erreurs de segmentation causées par des tampons volumineux dans le chemin matmul_tiled.

  • Des améliorations de performance d'environ 2x sur PP_Speed ont été observées pour les modèles FP32, Q4_0 et Q8_0 sur AIX.
  • La version fournit des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA, Vulkan, ROCm, etc.), Android et openEuler.
  • Le support KleidiAI pour macOS Apple Silicon est désactivé dans cette version.

Cette mise à jour garantit la stabilité sur les systèmes AIX tout en offrant des accélérations significatives de l'inférence pour les formats de quantification pris en charge.