一位 Reddit 用户展示了在一台配备 Intel i7-8750H、20GB RAM 和 GTX 1050 Mobile GPU 的笔记本电脑上运行超过 1000 亿参数的语言模型。该设置严重依赖使用内存映射文件 (mmap) 访问将模型参数卸载到三星 NVMe 驱动器。

  • 用户严格使用混合专家 (MoE) 模型以避免压垮 CPU，而密集模型被认为不合适。
  • 量化设置包括标准大模型的 Q3_K_M 和超过 700B 参数且拥有超过 20B 激活参数的模型的 Q2。
  • 具体测试的模型包括 Deepseek-V4-Flash (UD-IQ3_XXS) 达到每秒 1.0-1.8 个 token，以及 Nemotron-3-Super-120B-A12B (UD-Q3_K_M) 达到每秒 1.5-2.5 个 token。
  • 工作流程利用 LM Studio 进行批处理式任务，如逆向工程和代码审计，支持 16K 到 90K token 的上下文窗口。

此配置允许在国际支付选项受限地区的用户将强大的本地模型作为云服务的替代方案。