Google telah merilis model eksperimental, Gemini-Exp-1114, yang sekarang menempati peringkat bersama No. 1 di papan peringkat Chatbot Arena bersama ChatGPT-4o-latest dari OpenAI. Diuji dengan lebih dari 6.000 suara komunitas, model ini mencapai skor Arena keseluruhan 1344, melampaui versi Gemini sebelumnya dan mengalahkan o1-preview dari OpenAI.
Gemini-Exp-1114 menempati peringkat No. 1 di papan peringkat Visi dan dalam dua kategori yang tidak ditentukan, sementara berada di peringkat No. 3 dalam pengkodean dan Prompt Sulit dengan Kontrol Gaya. Dalam perbandingan langsung, model ini memenangkan 50% suara melawan GPT-4o-latest, 56% melawan o1-preview, dan 62% melawan Claude-3.5-Sonnet.
Pengembang dapat saat ini menguji model melalui Google AI Studio, dengan akses API diharapkan segera tersedia.