Proyek llama.cpp merilis versi b9923, yang menampilkan refaktor signifikan pada komponen server-stream untuk mengatasi masalah dengan buffer replay Server-Sent Events (SSE). Pembaruan ini memperkenalkan pola pimpl dan membatasi fungsi stream publik di bawah awalan `server_stream_` untuk meningkatkan organisasi kode.

  • Status sesi dan manajer sekarang dilindungi oleh mutex, dengan predikat condvar diatur di bawah kunci sambil menjaga cancelled tetap atomik untuk polling tanpa kunci.
  • Komentar telah dipangkas untuk fokus pada alasan konkurensi, masa pakai, dan pengurutan, menghapus yang hanya mengulang kembali kode.
  • Trace stream dipindahkan ke level debug untuk mengurangi noise log default selama diagnostik awal.
  • Enum `stream_read_status` dipindahkan ke file .cpp agar tetap berada di balik batas pimpl.

Rilis ini mencakup biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP), dan openEuler.