Создатель проекта AI Hardware Fit выпустил бесплатный инструмент с открытым исходным кодом для браузера, предназначенный для помощи пользователям в определении того, поместится ли локальная модель на их GPU, а также в сравнении подходящих вариантов оборудования. Инструмент решает сложность сбора информации о файлах моделей, квантовании, длине контекста и поддержке во время выполнения из различных источников.
- Пользователи могут начать с конкретного GPU, чтобы просмотреть кандидаты среди моделей, предложенные варианты квантования, оценки потребления VRAM и диапазоны скорости, а также команды для Ollama или llama.cpp.
- Альтернативно, начиная с модели, пользователи могут сравнивать подходящие GPU на основе бюджета, энергопотребления и форм-фактора.
- Каталог в настоящее время включает 151 предустановку GPU и 332 ИИ-модели, включая быстрые подборки для Mac mini M4 (32 ГБ) и M4 Pro (64 ГБ).
- Интерфейс отображает границы качества VRAM на основе опубликованных результатов бенчмарков и границы соотношения цены и скорости для совместимых GPU.
Инструмент стремится предоставить прозрачные доказательства, отдельно маркируя точные измерения в заданных условиях, калиброванные диапазоны и рассчитанные оценки, помогая пользователям принимать обоснованные решения при планировании развертывания локального ИИ.