Авторы представляют GameEngineBench, бенчмарк, предназначенный для оценки кодинговых агентов на ограниченных задачах реализации C++ в проектах Unreal Engine 5. Набор данных для оценки состоит из 110 задач, охватывающих игровую механику, многопользовательское поведение, ИИ, анимацию, UI и плагины рендеринга, и построен на основе девяти репозиториев игр из реальной разработки.

  • Задачи требуют от моделей внесения изменений в нативный C++, которые компилируются и проходят поведенческие тесты в исполняемых проектах Unreal Engine.
  • Среди двенадцати оцененных конфигураций лучшая модель достигает показателя pass@1 на уровне 55.5%.
  • 31 задача остается нерешенной для всех протестированных конфигураций.

Результаты показывают, что передовые кодинговые агенты по-прежнему испытывают трудности с глубоко интегрированной разработкой на C++ для интерактивного программного обеспечения в реальном времени, подчеркивая ценность бенчмарков игровых движков как дополнения к существующим оценкам в области программной инженерии.