Proyek llama.cpp merilis build b10673, yang mencakup optimasi kinerja spesifik untuk perangkat keras Apple M4. Pembaruan ini memperkenalkan catatan fa_vec_tuned_table ke dalam modul ggml-metal-tuning untuk meningkatkan efisiensi backend Metal.
- Menambahkan tabel pencarian yang disetel untuk kuantisasi F16, Q4_0, Q4_1, Q5_0, Q5_1, dan Q8_0 pada chip M4 dengan 10 inti GPU.
- Menyediakan biner untuk macOS Apple Silicon (arm64), macOS Intel (x64), dan iOS XCFramework.
- Termasuk build Linux untuk Ubuntu x64 dan arm64 di berbagai backend CPU, Vulkan, ROCm 7.14, OpenVINO, dan SYCL.
- Menawarkan biner Windows untuk CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, dan ROCm 7.14.
- Menambahkan dukungan Android arm64 (CPU) dan biner UI.
Rilis ini memastikan bahwa pengguna pada perangkat Apple M4 dapat memanfaatkan kernel Metal yang dioptimalkan untuk inferensi yang lebih cepat.