Redditのユーザーが、オープンソース大規模言語モデルの現在の効率的フロンティアの可視化を発表しました。このチャートは、効率性をベンチマークスコアをアクティブなパラメータ数で割ったものとして定義しています。

  • 分析では、パレートフロンティア上にないすべてのモデルを除外します。
  • データはartificialanalysis.aiから集約されており、既知の欠陥はあるものの全体的な指標として機能しています。
  • 目的は、利用可能な最もパラメータ効率の高いオープンモデルを特定することです。