一位用户提议创建“本地大语言模型生存套件”,这将是一个U盘,能够在无需互联网连接的情况下,通过大型语言模型提供对可用知识库的即时访问。

拟议的架构包括用于Windows、macOS和Linux上仅CPU推理的llama.cpp二进制文件,以及针对32 GB或更多RAM系统的Qwen3.5 35B-A3B和针对内存较少系统的Gemma 4 E4B等特定模型配置。该套件将包含一个压缩的SQLite数据库,其中托管了英文维基百科转储数据以及关于医学和工程等主题的自由许可书籍,所有这些都可以通过带有基于浏览器的聊天前端的简单服务器进行访问。

该解决方案旨在以低于10美元的成本适配64 GB的USB驱动器,使用户能够在过去15年生产的几乎任何PC或笔记本电脑上以每秒5-20个token的速度运行模型,无需GPU要求或复杂设置。