Бенчмарк · agentic
OSWorld
OSWorld — это бенчмарк, который проверяет агентов, управляющих компьютером, на реальных задачах десктопной операционной системы, охватывающих повседневные приложения (файловые менеджеры, веб-браузеры, офисные пакеты). Он показывает процент задач, которые агент выполняет успешно.
Подробнее
- Пример
- Задача может требовать открыть таблицу, изменить значение или переформатировать данные и сохранить файл — или найти файл в файловом менеджере и изменить системную настройку, — работая с реальным графическим интерфейсом (GUI) так же, как это делал бы человек.
- Метрика
- Метрика — доля успешно решённых задач (task success rate), выраженная в процентах. Каждая задача либо пройдена, либо нет, а итоговый балл — это доля пройденных задач по всему набору.
- Приёмка
- Результаты проверяются автоматически скриптами на основе выполнения, которые анализируют итоговое состояние системы (например, появился ли нужный файл, значение или настройка), а не сопоставлением текста или голосованием людей.
- Почему важно
- Он измеряет, могут ли ИИ-агенты действительно управлять настоящим компьютером во многих приложениях — это гораздо более сложная и реалистичная проверка автономности, чем ответы на вопросы или задачи в одном приложении.
Разбор примера
Задача
На рабочем столе Ubuntu открыт GNOME Terminal. В папке ~/project рекурсивно найдите все файлы .log размером больше 10 MB и удалите их, не трогая остальные файлы.
Решение
find ~/project -type f -name '*.log' -size +10M -deleteРазбор
find рекурсивно обходит ~/project, отбирает обычные файлы вида *.log размером больше 10 MB, а -delete удаляет именно их, не затрагивая всё остальное. OSWorld оценивает задачу отдельным чекером по итоговому состоянию файловой системы виртуальной машины (VM) и даёт reward 1 только если целевые logs удалены, а прочие файлы на месте.