USB 드라이브용 오프라인 로컬 LLM 서바이벌 키트 제안

한 사용자가 인터넷 연결 없이도 대규모 언어 모델에 의해 구동되는 사용 가능한 지식베이스에 즉시 접근할 수 있는 USB 플래시 드라이브인 "로컬 LLM 서바이벌 키트"의 생성을 제안합니다.

제안된 아키텍처에는 Windows, macOS 및 Linux 전반에 걸쳐 CPU 전용 추론을 위한 llama.cpp 바이너리와 32 GB 이상의 RAM이 있는 시스템을 위한 Qwen3.5 35B-A3B, 메모리가 더 적은 시스템을 위한 Gemma 4 E4B와 같은 특정 모델 구성이 포함됩니다. 키트에는 영어 위키백과 덤프와 의학 및 공학 등의 주제에 대한 자유롭게 라이선스된 책들을 담고 있는 압축 SQLite 데이터베이스가 포함되어 있으며, 브라우저 기반 채팅 프론트엔드가 있는 간단한 서버를 통해 접근할 수 있습니다.

이 솔루션은 GPU 요구 사항이나 설정 없이 지난 15년 동안의 거의 모든 PC나 노트북에서 초당 5-20 토큰으로 모델을 실행할 수 있도록 10 USD 미만으로 64 GB USB 드라이브에 담는 것을 목표로 합니다.