Пользователь протестировал современные кодогенерирующие агенты, попросив Codex перенести игру Pikachu Volleyball на UmLang, эзотерический корейский мемный язык программирования. Агент успешно завершил проект после примерно 41 часа работы.
- Полученный код был протестирован с помощью пропускной способности безголовой симуляции по сравнению с нативным Rust, оригинальным JavaScript и различными виртуальными машинами UmLang.
- Рейтинг производительности поставил Rust на первое место, за ним следуют оригинальный JS, а затем реализации UmLang на виртуальных машинах Rust, Node и Python.
- Корректность оставалась стабильной во всех реализациях, при этом различия в производительности объясняются накладными расходами времени выполнения.
Проект демонстрирует способность кодогенерирующих агентов работать с крайне малообеспеченными языками и поднимает вопросы о том, как специфические для языка абстракции могут повлиять на будущие взаимодействия с ИИ.