Pencipta AI Hardware Fit telah merilis alat browser gratis dan open-source yang dirancang untuk membantu pengguna menentukan apakah model lokal muat di GPU mereka serta membandingkan opsi perangkat keras yang sesuai. Alat ini mengatasi kompleksitas dalam menyusun file model, kuantisasi, panjang konteks, dan dukungan runtime dari berbagai sumber.
- Pengguna dapat memulai dengan GPU tertentu untuk melihat model kandidat, kuantisasi yang disarankan, perkiraan rentang VRAM dan kecepatan, serta perintah untuk Ollama atau llama.cpp.
- Sebagai alternatif, memulai dengan sebuah model memungkinkan pengguna membandingkan GPU yang sesuai berdasarkan anggaran, konsumsi daya, dan faktor bentuk.
- Katalog saat ini mencakup 151 preset GPU dan 332 model AI, termasuk pilihan cepat untuk Mac mini M4 (32GB) dan M4 Pro (64GB).
- Antarmuka menampilkan batas kualitas VRAM menggunakan skor benchmark yang dipublikasikan serta batas harga-kecepatan untuk GPU yang kompatibel.
Alat ini bertujuan memberikan bukti transparan dengan menandai pengukuran kondisi eksak, rentang terkalibrasi, dan perkiraan terhitung secara terpisah, membantu pengguna membuat keputusan perencanaan yang tepat untuk penyebaran AI lokal.