この記事は、小規模なオープンウェイトモデル(2B–7B)のローカル展開における実用的な有用性について問いかけ、より大規模なモデルと比較して個人の仕事流に十分になりつつあるかどうかを尋ねています。
特に、現在ローカルでモデルを実行しているユーザーに、以下の点に関する経験を共有するよう求めています:
- 使用している特定のモデルとハードウェア構成。
- 小規模モデルが驚くほど良いパフォーマンスを発揮したタスク。
- ベンチマークの数値ではなく、現実的なセットアップ。
著者は、理論的なパフォーマンス指標ではなく、実用的な現実世界の使用例を見てほしいと強調しています。