Wecko-ai 发布开源数据集，将本地 LLM 映射到 RAM 层级

一名开发者在 GitHub 上发布了开源数据集，详细说明了哪些本地大语言模型适合特定的 RAM 和 VRAM 层级，范围从 8GB 到 128GB。该项目解决了确定模型与硬件（如 16GB MacBook 或 NVIDIA RTX 3060）兼容性的常见难题。

该数据集包含 62 个模型的详细信息，包括量化方式、加载大小和 Ollama 命令。它提供了一个经验法则：Q4_K_M 模型每十亿参数大约需要 0.6GB 内存，建议为系统开销预留约 70% 的可用 RAM。数据涵盖了各层级的可用预算和最大参数量，包括 8GB（~8B 参数）、16GB（~14B）、24GB（~27B）、32GB（~35B）、48GB（~47B）、64GB（~70B）和 128GB（~122B）。

该数据集在 CC BY 许可下提供，并配有用于程序化访问的 JSON API，覆盖 Apple Silicon 和消费级 NVIDIA 硬件。作者邀请社区贡献以纠正错误或添加缺失的模型和量化方案。