OpenAIの従業員であるWilliam Fedus氏は、Chatbot Arenaのリーダーボードに表示されている謎めいたチャットボット「gpt-chatbot」が、新たにリリースされたGPT-4oモデルのプレリリース版であることを確認しました。このモデルはこれらの秘密のテスト中にプラットフォームで記録された最高スコアを達成しました。

  • OpenAIは4月からアリーナで複数のGPT-4oバージョンをテストし、「gpt2-chatbot」や「im-also-a-good-gpt2-chatbot」といった偽名を使用しました。
  • リリース時、GPT-4oはClaude 3 OpusやGPT-4 Turboなどの以前のトップモデルを約50 Eloポイントという大きな差で上回りました。
  • 記事作成時点では、テストモデルのEloスコアは1309であり、GPT-4-Turbo-2023-04-09は1253、Claude 3 Opusは1246でした。

公式LMSYSアカウントは、GPT-4oの公開版がすでにアリーナに参入し、まもなく公開リーダーボードに表示されると指摘しました。