Бенчмарк · agentic

GDPval-AA (Elo)

14 результатов 10 моделей

Artificial Analysis's pairwise-graded Elo ranking on real-world economically valuable knowledge work; four-digit scores (~640-1950 Elo), so never file a percentage here. Not Chatbot Arena Elo (lmsys-arena) and not OpenAI's percentage GDPval.

Gemini 3.6 Flash Gemini 3.5 Flash-Lite DeepSeek-V4-Flash-0731 Grok 4.6 Gemini 3.7 Flash GLM-5.3 GLM-5.3-Flash Claude Fable 5.1 Muse Spark 1.3 K2-Horizon-375B-A23B

Хронология

Дата	Модель	Результат	Источник
2026-09-07	K2-Horizon-375B-A23B	1441.0Elo	IFM выпускает K2 Horizon: шесть моделей с лицензией Apache 2.0 от 0,9B до 375B
2026-09-04	Muse Spark 1.3	1754.0Elo	Meta выпустила Muse Spark 1.3 с меньшим числом вызовов инструментов и токенов
2026-09-01	Claude Fable 5.1	1853.0Elo	Anthropic выпустила Claude Fable 5.1 с результатом 52.6% на Terminal-Bench-Science и более дешёвым чтением кэша
2026-08-27	GLM-5.3-Flash	1770.0Elo	NVIDIA покупает HuggingFace за $13 млрд; Z.ai запускает GLM-5.3-Flash
2026-08-27	GLM-5.3-Flash	1770.0Elo	Z.ai выпускает GLM-5.3-Flash: мультимодельную модель с 320 млрд параметров и контекстом на 1 млн токенов
2026-08-21	Grok 4.6	1577.0Elo	SpaceXAI представляет Grok 4.6 с данными Cursor для агентных задач
2026-08-17	GLM-5.3	1769.0Elo	Z.ai запускает модель для кодинга GLM-5.3; Cursor присоединяется к SpaceXAI
2026-08-14	Gemini 3.7 Flash	1525.0Elo	Google выпустила Gemini 3.7 Flash с алгоритмическими улучшениями и снижением цен
2026-08-13	Grok 4.6	1753.0Elo	SpaceXAI выпускает Grok 4.6 с контекстом на 500K токенов и улучшенным агентным рассуждением
2026-08-13	Grok 4.6	1753.0Elo	xAI выпустила Grok 4.6, Alibaba представила Qwen3.8-Max, DeepSeek V4 Pro стала общедоступной
2026-08-13	Grok 4.6	1753.0Elo	xAI выпустила Grok 4.6; Alibaba открыла Qwen3.8-MoE; DeepSeek V4 Pro GA
2026-08-07	DeepSeek-V4-Flash-0731	1558.0Elo	DeepSeek выпустила V4-Flash-0731, превосходящую V4-Pro при меньшей стоимости
2026-07-27	Gemini 3.6 Flash	1421.0Elo	Google выпустила Gemini 3.6 Flash, 3.5 Flash-Lite и 3.5 Flash Cyber
2026-07-27	Gemini 3.5 Flash-Lite	1140.0Elo	Google выпустила Gemini 3.6 Flash, 3.5 Flash-Lite и 3.5 Flash Cyber