Proyek ggml telah menambahkan dukungan kuantisasi Q2_0 untuk CPU, khususnya untuk memungkinkan penggunaan model Ternary Bonsai. Pembaruan ini melengkapi keluarga kuantisasi Q1_0, Q2_0, Q4_0, dan Q8_0 di dalam pustaka.
- Implementasi mendukung ARM NEON dan mencakup fallback skalar umum.
- Ini memungkinkan menjalankan model Ternary Bonsai 1.7B, 4B, dan 8B pada perangkat keras CPU.
- Backend x86, Metal, CUDA, dan Vulkan direncanakan untuk pengiriman di masa depan.
Penambahan ini memungkinkan pengguna menjalankan model Ternary Bonsai menggunakan format Q2_0 yang baru didukung pada CPU yang kompatibel.