Бенчмарк · agentic

OSWorld 2.0

9 результатов 7 моделей

2026 long-horizon re-cut of OSWorld: 108 multi-app desktop workflows, median human task ~1.6h. Not on the same scale as OSWorld / OSWorld-Verified — file here only when the quote says 2.0.

Claude Opus 5 Qwen-CUA Qwen-CUA-Max Claude Fable 5.1 Muse Spark 1.3 GPT-6 Astra GPT‑6 Astra

Хронология

Дата	Модель	Результат	Источник
2026-09-05	GPT‑6 Astra	72.6%	OpenAI выпустила GPT-6 Astra с улучшенными возможностями использования компьютера, программирования и кибербезопасности
2026-09-04	GPT-6 Astra	72.6%	OpenAI выпустила GPT-6 Astra — модель для работы с компьютером с контекстом 1.05M
2026-09-04	Muse Spark 1.3	66.9%	Meta выпустила Muse Spark 1.3 с меньшим числом вызовов инструментов и токенов
2026-09-01	Claude Fable 5.1	41.7%	Anthropic выпустила Claude Fable 5.1 с результатом 52.6% на Terminal-Bench-Science и более дешёвым чтением кэша
2026-08-04	Qwen-CUA	18.5%	Qwen выпускает Qwen-CUA, нативного агента для управления компьютером на архитектуре 397B-A17B
2026-08-04	Qwen-CUA-Max	21.2%	Qwen выпускает Qwen-CUA, нативного агента для управления компьютером на архитектуре 397B-A17B
2026-08-04	Qwen-CUA	18.5%	Qwen выпустила Qwen-CUA — нативного агента для управления компьютером с архитектурой 397B-A17B
2026-08-04	Qwen-CUA-Max	21.2%	Qwen выпустила Qwen-CUA — нативного агента для управления компьютером с архитектурой 397B-A17B
2026-07-28	Claude Opus 5	70.0%	Anthropic выпустила Claude Opus 5 как экономичную альтернативу Fable