Un utilisateur propose la création d'un « Kit de survie LLM local », qui serait une clé USB offrant un accès immédiat à une base de connaissances utilisable alimentée par un grand modèle de langage, sans nécessiter de connexion Internet.
L'architecture proposée comprend les binaires llama.cpp pour l'inférence uniquement sur CPU sous Windows, macOS et Linux, ainsi que des configurations de modèles spécifiques telles que Qwen3.5 35B-A3B pour les systèmes disposant de 32 Go ou plus de RAM et Gemma 4 E4B pour les systèmes avec moins de mémoire. Le kit contiendrait une base de données SQLite compressée hébergeant un dump de Wikipédia en anglais et des livres sous licence libre sur des sujets tels que la médecine et l'ingénierie, tous accessibles via un serveur simple avec une interface de chat basée sur le navigateur.
Cette solution vise à tenir sur une clé USB de 64 Go pour moins de 10 USD, permettant aux utilisateurs d'exécuter des modèles à 5-20 tokens par seconde sur presque n'importe quel PC ou ordinateur portable des 15 dernières années sans exigences ni configuration GPU.