Googleは実験的モデルであるGemini-Exp-1114をリリースし、現在OpenAIのChatGPT-4o-latestと共にChatbot Arenaリーダーボードで共同1位となっています。コミュニティからの6,000以上の投票でテストされたこのモデルは、総合Arenaスコア1344を獲得し、以前のGeminiバージョンを上回り、OpenAIのo1-previewを打ち負かしました。

Gemini-Exp-1114はビジョンリーダーボードと2つの未指定のカテゴリーで1位となり、コーディングとスタイル制御付きのハードプロンプトでは3位となっています。直接比較では、GPT-4o-latestに対して50%、o1-previewに対して56%、Claude-3.5-Sonnetに対して62%の投票を獲得しています。

開発者は現在Google AI Studioを通じてモデルをテストすることができ、APIアクセスはまもなく提供される予定です。