Le projet llama.cpp a publié la version b9923, qui comprend une refonte significative du composant server-stream pour résoudre les problèmes liés au tampon de relecture des Server-Sent Events (SSE). Cette mise à jour introduit un motif pimpl et scope les fonctions de flux publiques sous le préfixe `server_stream_` afin d'améliorer l'organisation du code.

  • L'état de la session et du gestionnaire est désormais protégé par un mutex, avec des prédicats condvar définis sous le verrou tout en gardant le flag cancelled atomique pour le sondage sans verrou.
  • Les commentaires ont été épurés pour se concentrer sur les raisons liées à la concurrence, à la durée de vie et à l'ordonnancement, supprimant ceux qui ne faisaient que répéter le code.
  • Les traces de flux ont été déplacées au niveau debug afin de réduire le bruit de journal par défaut lors des diagnostics de démarrage.
  • L'énumération `stream_read_status` a été déplacée dans le fichier .cpp pour rester derrière la frontière pimpl.

La release inclut des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) et openEuler.