Пользователь Reddit демонстрирует запуск больших языковых моделей с более чем 100 миллиардами параметров на ноутбуке с Intel i7-8750H, 20 ГБ ОЗУ и мобильным GPU GTX 1050. Настройка сильно полагается на выгрузку параметров модели на накопитель Samsung NVMe с использованием доступа через отображение памяти (mmap).

  • Пользователь строго использует модели Mixture of Experts (MoE), чтобы не перегружать CPU, тогда как плотные модели считаются неподходящими.
  • Настройки квантования включают Q3_K_M для стандартных больших моделей и Q2 для тех, что превышают 700B параметров с более чем 20B активных параметров.
  • Среди протестированных моделей: Deepseek-V4-Flash (UD-IQ3_XXS) со скоростью 1.0–1.8 токенов в секунду и Nemotron-3-Super-120B-A12B (UD-Q3_K_M) со скоростью 1.5–2.5 токенов в секунду.
  • Рабочий процесс использует LM Studio с пакетной обработкой для задач вроде реверс-инжиниринга и аудита кода, поддерживая контекстное окно от 16K до 90K токенов.

Эта конфигурация позволяет пользователям в регионах с ограниченными возможностями международных платежей использовать мощные локальные модели как альтернативу облачным сервисам.