LMSYS 연구원들은 대규모 언어 모델을 비교하기 위해 Elo 평가 시스템을 사용한 리더보드를 출시했으며, Anthropic의 Claude 3 Opus가 1위를 차지했다고 밝혔습니다. 이 모델은 인간 투표자가 평가한 일대일 전투를 기반으로 Elo 평가점수 1253을 달성했습니다.
이 벤치마크는 언어 AI의 빠른 발전을 추적하고 주요 기술 기업 간 경쟁이 심화됨에 따라 선도적인 아키텍처를 식별하는 객관적인 방법을 제공합니다.
| 벤치마크 | 모델 | 점수 |
|---|---|---|
| LMSYS Arena (Elo) | Claude 3 Opus | 1253Elo |
| LMSYS Arena (Elo) | GPT-4 preview models | 1251Elo |
| LMSYS Arena (Elo) | Bard (Gemini Pro) | 1203Elo |
| LMSYS Arena (Elo) | Claude 3 Sonnet | 1198Elo |
| LMSYS Arena (Elo) | GPT-4–0314 | 1185Elo |
| LMSYS Arena (Elo) | Mistral-Large-2402 | 1157Elo |
| LMSYS Arena (Elo) | Qwen1.5–72B-Chat | 1148Elo |
Mistral Vibe for Code, Claude Code, OpenAI Codex, Cursor의 기능 비교는 스캐폴딩, 테스트, 풀 리퀘스트 생성을 포함한 다단계 워크플로우에서의 성능을 평가했다. 점수는 2026년 7월 14일 기준 문서화된 기능, 공개 벤치마크 및 벤더 사양에서 도출되었다.
OpenAI의 Codex 제품은 700만 명의 사용자를 달성했으며, 연초 약 55만~70만 명에서 10배 이상 증가했습니다. 이 급격한 성장은 GPT-5.6 Sol의 7월 9일 출시 및 사용량 관리를 위한 최근 인프라 업데이트와 일치합니다.
저자들은 최근 라이브 오픈소스 저장소(aiohttp, aiogram, Laravel, NestJS, Fastify)의 수정 커밋에서 추출한 25개의 작업으로 구성된 벤치마크인 RuBench 1.0을 소개합니다. 각 작업은 러시아어로 네이티브하게 지정되며, 릴리스 시 공개되지 않은 업스트림 유지보수자의 회귀 테스트에 의해 평가됩니다.
한 연구는 boltuix/emotions 데이터셋에서 계층화된 1,000문 샘플을 사용하여 제로샷 세밀 감정 분류 작업에서 세 가지 상용 대규모 언어 모델(Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4), Gemini (gemini-2.5-flash))을 평가했습니다.
2025년 12월에 출시된 OpenAI의 GPT-5.2는 ARC-AGI-2 벤치마크에서 약 53~54%의 성공률을 달성하며 AI 추상적 추론에서 중요한 이정표를 세웠습니다. 이 성능은 이러한 작업에서 5%의 성공률도 달성하지 못했던 이전의 최전선 기술(클로즈드 모델 시스템)을 크게 상회했습니다.