Google a publié un modèle expérimental, Gemini-Exp-1114, qui se classe désormais ex æquo à la première place du classement Chatbot Arena aux côtés de ChatGPT-4o-latest d'OpenAI. Testé avec plus de 6 000 votes de la communauté, le modèle a obtenu un score global de l'Arena de 1344, surpassant les versions précédentes de Gemini et battant o1-preview d'OpenAI.
Gemini-Exp-1114 se classe à la première place du classement Vision et dans deux catégories non spécifiées, tandis qu'il se classe à la troisième place en codification et dans les Prompts Difficiles avec Contrôle de Style. Dans les comparaisons directes, il remporte 50 % des votes contre GPT-4o-latest, 56 % contre o1-preview et 62 % contre Claude-3.5-Sonnet.
Les développeurs peuvent actuellement tester le modèle via Google AI Studio, avec un accès API attendu bientôt.