O projeto llama.cpp lançou a versão b9923, apresentando uma refactorização significativa do componente server-stream para resolver problemas com o buffer de replay de Server-Sent Events (SSE). Esta atualização introduz um padrão pimpl e agrupa as funções públicas do stream sob o prefixo `server_stream_` para melhorar a organização do código.

  • O estado da sessão e do gerenciador agora é protegido por um mutex, com predicados condvar definidos sob o bloqueio, mantendo o cancelamento atômico para polling sem bloqueio.
  • Os comentários foram reduzidos para focar na justificativa de concorrência, tempo de vida e ordenação, removendo aqueles que apenas repetem o código.
  • Os rastreamentos do stream foram movidos para o nível de depuração para reduzir o ruído padrão de logs durante diagnósticos de inicialização.
  • O enum `stream_read_status` foi movido para o arquivo .cpp para permanecer atrás do limite pimpl.

O lançamento inclui binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) e openEuler.