あるユーザーが、「ローカルLLMサバイバルキット」の作成を提案しています。これは、インターネット接続を必要とせずに、大規模言語モデルによって駆動される実用的な知識ベースへの即時アクセスを提供するUSBフラッシュドライブとなります。

提案されたアーキテクチャには、Windows、macOS、Linux全体でCPU専用推論用のllama.cppバイナリが含まれており、32 GB以上のRAMを搭載したシステム向けのQwen3.5 35B-A3Bや、より少ないメモリを持つシステム向けのGemma 4 E4Bといった特定のモデル構成も含まれます。キットには、英語版Wikipediaのダンプと、医学や工学などのトピックに関する自由にライセンスされた書籍を格納した圧縮SQLiteデータベースが含まれており、ブラウザベースのチャットフロントエンドを備えたシンプルなサーバーを通じてアクセス可能です。

このソリューションは、過去15年間のほぼすべてのPCやラップトップでGPU要件やセットアップなしに、毎秒5〜20トークンの速度でモデルを実行できるようにするために、10米ドル未満で64 GBのUSBドライブに収まることを目指しています。