TutorMoments оценивает, знают ли ИИ-репетиторы, когда помогать, а когда воздерживаться
Исследователи представляют TutorMoments — фреймворк, предназначенный для измерения способности больших языковых моделей балансировать между педагогическим компромиссом предоставления поддержки и поощрения независимого мышления. Система, построенная на реальных стенограммах индивидуальных математических занятий с учениками, воспроизводит моменты принятия решений для оценки поведения модели по сравнению с аннотированными экспертами эталонными данными.