Пользователь предлагает создать «Набор для выживания с локальной LLM», который представлял бы собой USB-флешку, обеспечивающую мгновенный доступ к пригодной для использования базе знаний, работающей на основе большой языковой модели, без необходимости подключения к интернету.
Предлагаемая архитектура включает бинарные файлы llama.cpp для вывода только на CPU в Windows, macOS и Linux, а также специфические конфигурации моделей, такие как Qwen3.5 35B-A3B для систем с 32 ГБ или более ОЗУ и Gemma 4 E4B для систем с меньшим объемом памяти. Набор будет содержать сжатую базу данных SQLite с дампом английской Википедии и книгами со свободной лицензией по таким темам, как медицина и инженерия, доступ к которым осуществляется через простой сервер с браузерным чат-интерфейсом.
Это решение рассчитано на размещение на USB-накопителе объемом 64 ГБ стоимостью менее 10 долларов США, что позволяет пользователям запускать модели со скоростью 5–20 токенов в секунду на любом ПК или ноутбуке, выпущенном за последние 15 лет, без требований к GPU или сложной настройки.