Разработчик выпустил офлайн-инструмент в виде одного HTML-файла, который определяет, какие локальные большие языковые модели поместятся в конкретную конфигурацию GPU, и прогнозирует скорость генерации токенов. Инструмент создан для ответа на частый вопрос о том, сможет ли кастомная сборка ПК эффективно запускать нужные модели, без необходимости использования бэкенда или создания учётной записи.
- Оценщик возможностей рассчитывает размер в памяти, статус размещения в VRAM и предполагаемую скорость декодирования/префилла на основе пропускной способности памяти, с калибровкой по реальным измеренным данным с NVIDIA RTX 3090.
- Ценовые записи содержат индикаторы происхождения (источник, оценка или устаревшие данные) для предотвращения скрытых ошибок, с расчётом налогов и доставки в реальном времени.
- Пользователи могут вставлять URL продуктов для получения цен через CORS-прокси, а еженедельное автоматическое обновление обеспечивается GitHub Action.
- Инструмент корректирует оценку скорости декодирования для моделей Mixture of Experts (MoE), отслеживая активные параметры, а не общее количество параметров.
- Включены эталонные сборки, например, стартовый набор за $2.2k с одной RTX 3090 и конфигурация из 4x RTX PRO 6000, чтобы помочь пользователям визуализировать возможные варианты.
Этот инструмент помогает энтузиастам локального ИИ точно подбирать оборудование для желаемых рабочих нагрузок моделей, предоставляя откалиброванные оценки производительности и прозрачные ценовые данные без reliance на внешние серверы.