ある研究者は、低スペックノートPCでの利用に適したモデルを特定するため、検索および再構築タスクにおける小規模AI言語モデル(1億〜30億パラメータ)のメモリ制限を評価する研究を実施している。本調査では、Qwen2.5の3つのモデル:0.5B、1.5B、3Bに焦点を当ててベンチマークを行っている。

  • 検索タスクにおけるメモリパフォーマンスは、3つのモデルサイズ間で比較的同じ程度であった。
  • 再構築タスクの結果では、最も大きなモデルであるQwen2.5-3Bが最悪のパフォーマンスを示すという予期せぬ傾向が見られた。
  • Qwen2.5-3Bは、入力情報が増加するにつれて、1.5Bや0.5Bのモデルと比較して、再構築パフォーマンスが著しく急激に低下した。

著者は、この直感に反する結果が実験ミスではなく客観的なものであるかを確認するための追加分析や方法論的検証に関するフィードバックを求めている。