Пользователь Reddit описывает исчерпывающий список программного обеспечения и моделей для офлайн-хранения, чтобы сохранить доступ к возможностям локального ИИ в случае широких интернет-ограничений или запретов. Предлагаемый набор сосредоточен на сохранении необходимых инструментов, операционных систем и весов моделей для обеспечения работоспособности без внешних зависимостей.
- 16-битные safetensors ключевых LLM (например, Qwen 27b, Gemma 31b), а не квантованные форматы GGUF.
- Локальные диффузионные модели для генерации изображений (Z Image Turbo/Flux Klein), видео (LTX2.3/Wan2.2) и редактирования (Qwen Image Edit).
- Исходный код и копии движков инференса и интерфейсов, включая llama.cpp, vLLM, LMStudio, Ollama, Kobold, ComfyUI и SillyTavern.
- Офлайн-копии macOS, Windows 10/11 и дистрибутивов Linux, таких как Ubuntu и Pop!
- Rufus (включая устаревшие версии для Windows 7/XP) для прошивки ОС и программного обеспечения виртуализации, такого как UTM и VirtualBox.
- Инструменты Heretic/Grimoire от P-E-W для снятия цензуры моделей и потенциальные дополнения для моделей STT, TTS, аудио и OCR.
Эта коллекция направлена на снижение риска потери доступа к локальным ресурсам ИИ, если правительства запретят загрузки или торренты, обеспечивая пользователям сохранение критически важных вычислительных инструментов.