Proyek llama.cpp merilis build b10709, yang mengatasi masalah kritis dalam subsistem RPC mengenai bagaimana buffer tensor ditangani selama komunikasi lintas server.
- Perubahan inti mencegah serialisasi buffer yang milik server lain dengan hanya menyertakan pointer buffer jarak jauh ketika buffer tersebut milik dispatcher RPC yang menerima grafik.
- Uji regresi dua server ditambahkan untuk memverifikasi perilaku yang benar untuk serialisasi tensor lintas server.
- Binari pra-bangun tersedia untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android, dan iOS.
Perbaikan ini memastikan integritas data dalam pengaturan inferensi terdistribusi dengan mencegah berbagi buffer yang salah antara server RPC yang berbeda.