Google ने एक प्रायोगिक मॉडल, Gemini-Exp-1114 जारी किया है, जो अब OpenAI के ChatGPT-4o-latest के साथ Chatbot Arena लीडरबोर्ड पर संयुक्त नंबर 1 पर है। 6,000 से अधिक समुदाय वोटों के साथ परीक्षण किए जाने पर, मॉडल ने 1344 का कुल Arena स्कोर हासिल किया, जिसने पिछले Gemini संस्करणों को पार कर दिया और OpenAI के o1-preview को हरा दिया।
Gemini-Exp-1114 विज़न लीडरबोर्ड पर नंबर 1 पर है और दो अस्पष्ट श्रेणियों में, जबकि कोडिंग और शैली नियंत्रण वाले कठिन प्रॉम्प्ट्स में नंबर 3 पर है। सीधे तुलनाओं में, यह GPT-4o-latest के खिलाफ 50% वोट, o1-preview के खिलाफ 56% और Claude-3.5-Sonnet के खिलाफ 62% वोट जीतता है।
डेवलपर्स वर्तमान में Google AI Studio के माध्यम से मॉडल का परीक्षण कर सकते हैं, API एक्सेस जल्द ही उम्मीद है।