Wecko-ai menerbitkan dataset terbuka yang memetakan LLM lokal ke tier RAM

Seorang pengembang telah menerbitkan dataset terbuka di GitHub yang merinci model bahasa besar (LLM) lokal mana yang muat dalam tier RAM dan VRAM tertentu, mulai dari 8GB hingga 128GB. Proyek ini mengatasi kesulitan umum dalam menentukan kompatibilitas model untuk perangkat keras seperti MacBook 16GB atau NVIDIA RTX 3060.

Dataset ini mencakup 62 model dengan detail kuantisasi, ukuran muat, dan perintah Ollama. Dataset ini memberikan aturan praktis bahwa model Q4_K_M memerlukan sekitar 0,6GB memori per miliar parameter, menyarankan penyesuaian ukuran menjadi sekitar 70% dari RAM yang tersedia untuk overhead sistem. Data mencakup anggaran yang dapat digunakan dan jumlah parameter maksimum untuk tier termasuk 8GB (~8B params), 16GB (~14B), 24GB (~27B), 32GB (~35B), 48GB (~47B), 64GB (~70B), dan 128GB (~122B).

Dataset ini tersedia di bawah lisensi CC BY dengan API JSON untuk akses terprogram, mencakup Apple Silicon dan perangkat keras NVIDIA konsumen. Penulis mengundang kontribusi komunitas untuk memperbaiki kesalahan atau menambahkan model dan kuantisasi yang hilang.