Джереми Берман установил новый публичный рекорд точности 53,6% на лидерборде ARC-AGI-Pub, применив эволюционный алгоритм к модели OpenAI Sonnet 3.5, превзойдя предыдущий лучший результат в 43%. Этот подход рассматривает LLM как эволюционный механизм, который генерирует и уточняет функции преобразования Python вместо прямых выходных сеток.

Метод включает генерацию волн кандидатских функций Python и оценку их по предоставленным обучающим примерам с использованием двухуровневой оценки приспособленности.

  • Лучшие функции выбираются в качестве родителей для создания промптов ревизии для последующих поколений.
  • Процесс проходит через несколько поколений, потенциально генерируя до 500 функций на задачу с использованием 31 динамического промпта.
  • Окончательные решения выводятся из двух лучших функций по всем поколениям и подаются как кандидатские выходные сетки.

Берман предполагает, что масштабирование вычислений во время тестирования, управляемое эволюционными принципами, позволяет LLM компенсировать ограничения обобщения и может указывать путь к искусственному общему интеллекту.