Google выпустила экспериментальную модель Gemini-Exp-1114, которая теперь делит 1-е место в таблице лидеров Chatbot Arena вместе с ChatGPT-4o-latest от OpenAI. Протестированная более чем 6000 голосами сообщества, модель набрала общий рейтинг Arena 1344, превзойдя предыдущие версии Gemini и опередив o1-preview от OpenAI.
Gemini-Exp-1114 занимает 1-е место в таблице лидеров по зрению (Vision) и в двух неопределенных категориях, а также 3-е место в программировании и сложных промптах со стилевым контролем. В прямых сравнениях она выигрывает 50% голосов против GPT-4o-latest, 56% против o1-preview и 62% против Claude-3.5-Sonnet.
Разработчики могут протестировать модель через Google AI Studio, доступ к API ожидается в ближайшее время.