구글은 실험용 모델인 Gemini-Exp-1114를 출시했으며, 이제 OpenAI의 ChatGPT-4o-latest와 함께 Chatbot Arena 리더보드에서 공동 1위에 랭크되었습니다. 커뮤니티 투표 6,000회 이상으로 테스트된 이 모델은 전체 Arena 점수 1344점을 기록하여 이전 Gemini 버전을 능가하고 OpenAI의 o1-preview를 제쳤습니다.
Gemini-Exp-1114는 비전 리더보드와 두 가지 미지정 카테고리에서 1위에 랭크되었으며, 코딩과 스타일 제어 포함 하드 프롬프트에서는 3위에 랭크되었습니다. 직접 비교에서 GPT-4o-latest와의 투표에서 50%, o1-preview와의 투표에서 56%, Claude-3.5-Sonnet과의 투표에서 62%를 획득했습니다.
개발자들은 현재 Google AI Studio를 통해 모델을 테스트할 수 있으며, API 접근은 곧 예상됩니다.