llama.cpp b9909 menambahkan timing dan progress ke stream API /responses

Proyek llama.cpp telah merilis versi b9909, yang memperkenalkan informasi timing dan progress ke dalam stream API /responses. Pembaruan ini tersedia di berbagai platform termasuk macOS, Linux, Windows, Android, dan openEuler.

• Perubahan fungsional utama adalah penambahan detail timing dan progress pada output streaming untuk endpoint API /responses.
• Binari pra-bangun disediakan untuk berbagai arsitektur seperti Apple Silicon, Intel x64, ARM64, dan s390x.
• Dukungan GPU mencakup CUDA 12.4 dan 13.3, Vulkan, ROCm 7.2, OpenVINO, SYCL, dan HIP.
• Dukungan KleidiAI untuk macOS Apple Silicon dinonaktifkan dalam rilis ini.

Pembaruan ini memungkinkan pengguna memantau progress respons API dengan lebih efektif.