一名研究人员正在进行一项研究，以评估小型AI语言模型（100M至3B参数）在检索和重建任务中的内存限制，旨在确定适合低配置笔记本电脑的模型。该研究专门对三个Qwen2.5模型进行了基准测试：0.5B、1.5B和3B。

  • 发现所有三个模型大小的检索内存性能相对相似。
  • 重建内存结果显示出一个意外的趋势，即最大的模型Qwen2.5-3B表现最差。
  • 与1.5B和0.5B模型相比，随着输入信息的增加，3B模型的重建性能下降显著更陡峭。

作者正在征求关于额外分析或方法检查的反馈，以验证这一反直觉的结果是客观的而非实验错误。