Авторы представляют BehaviorBench, комплексный бенчмарк, предназначенный для оценки базовых моделей в различных задачах поведенческой науки и на разных популяциях. Исследование оценивает четыре ключевые способности — предсказание поведения, стратегическое принятие решений, вывод черт субъекта и применение поведенческих знаний — как на индивидуальном, так и на распределительном уровнях.

  • BehaviorBench оценивает выходные данные моделей на индивидуальном и распределительном уровнях для захвата выравнивания на уровне популяции, необходимого для поведенческой валидности.
  • Бенчмарк тестирует четыре способности: предсказание/симуляция поведения, стратегическое принятие решений, вывод черт субъекта и применение поведенческих знаний.
  • Be.FM-1.5 разработан как расширение семейства Be.FM, дообученное на поведенческих данных с использованием задач из BehaviorBench.
  • Проприетарные универсальные модели преуспевают в индивидуальном предсказании, тогда как поведенческие базовые модели демонстрируют более сильное распределительное выравнивание.
  • Be.FM-1.5 лидирует по распределительным метрикам и остается конкурентоспособным по индивидуальным метрикам, что предполагает, что правильная адаптация может сократить разрыв.

Результаты подчеркивают важность распределительной оценки для разработки поведенчески согласованных систем ИИ и демонстрируют потенциал Be.FM-1.5 для широкого спектра исследований в области поведенческой науки.