Wecko-ai публикует открытый датасет для сопоставления локальных LLM с уровнями RAM

Разработчик опубликовал на GitHub открытый датасет, в котором подробно описано, какие локальные большие языковые модели помещаются в определенные уровни RAM и VRAM, от 8 ГБ до 128 ГБ. Проект решает распространенную проблему определения совместимости моделей с оборудованием, таким как MacBook с 16 ГБ или NVIDIA RTX 3060.

Датасет включает 62 модели с информацией о квантовании, размере загрузки и командах Ollama. Приведено эмпирическое правило: модели Q4_K_M требуют примерно 0,6 ГБ памяти на миллиард параметров, что предполагает выделение около 70% доступной RAM для системных нужд. Данные охватывают доступные бюджеты и максимальное количество параметров для уровней, включая 8 ГБ (~8B параметров), 16 ГБ (~14B), 24 ГБ (~27B), 32 ГБ (~35B), 48 ГБ (~47B), 64 ГБ (~70B) и 128 ГБ (~122B).

Датасет доступен по лицензии CC BY с JSON API для программной обработки, охватывая Apple Silicon и потребительское оборудование NVIDIA. Автор приглашает сообщество вносить вклад для исправления ошибок или добавления отсутствующих моделей и квантований.