一位Reddit用户分享了一份理想的“愿望清单”以及对未来本地开源大型语言模型的预测,并引用了在消费级硬件上运行Qwen3.6-27B的积极经验。

  • 通过结合基于扩散的技术与DeepSeek V4的DSpark等稀疏架构,实现GPU利用率的全面释放。
  • 改进混合专家(MOE)分布以实现知识的动态选择,从而可能实现无需重新训练的剪枝。
  • 优化数据布局和量化格式,进一步减小模型体积并提高效率。
  • 引入基于Token的身份和权限机制,以增强对抗提示注入的安全性并改善上下文管理。

作者对开源模型在透明度和定制化方面的创新潜力表示兴奋,认为其有望超越闭源前沿实验室。