El proyecto llama.cpp lanzó la versión b9885, que incluye una corrección crítica para la plataforma AIX al habilitar la multiplicación de matrices en mosaico. Este cambio reduce el tamaño del búfer de pila local para prevenir fallos de segmentación causados por búferes grandes en la ruta matmul_tiled.

  • Se observaron mejoras de rendimiento de aproximadamente 2x en PP_Speed para los modelos FP32, Q4_0 y Q8_0 en AIX.
  • El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA, Vulkan, ROCm, etc.), Android y openEuler.
  • El soporte de KleidiAI para macOS Apple Silicon está deshabilitado en esta compilación.

Esta actualización garantiza la estabilidad en sistemas AIX mientras ofrece aceleraciones significativas de inferencia para los formatos de cuantización compatibles.