В статье «предвзятость вмешательства» (intervention bias) определяется как критическая ошибка в работе образовательных консультантов на основе больших языковых моделей (LLM) в режиме zero-shot, при которой они ошибочно рекомендуют действие, несмотря на то, что оптимальные политики требуют бездействия. Используя набор данных Open University Learning Analytics Dataset, исследование показывает, что GPT-4o в режиме zero-shot демонстрирует уровень ложноположительных срабатываний на 43 процентных пункта к 56-му дню, что приводит примерно к 4 300 ненужным контактам с консультантом за цикл для 10 000 студентов.
- Обучение политики с учителем (supervised policy learning) с использованием траекторно-условленного решения ONNX Decision Transformer (DT) и классификатора XGBoost устраняет эту предвзятость, достигая почти нулевой ошибки калибровки.
- Модель DT достигает макро-F1 0.79 и макро-полноты (macro-recall) 0.85 по пяти классам действий, включая редкие действия по снижению нагрузки, при этом частота смены решения (action flip rate) составляет 0%.
Обе модели с учителем обеспечивают задержку принятия решений на CPU менее 5 мс, при этом DT демонстрирует незначительное преимущество перед XGBoost на финальном пороге отсечения.
- Исследование выявляет пробел в оценке: оценка LLM-as-judge (DeepEval G-Eval) поощряет избыточную рекомендательность из-за беглости текста, а не реальное качество решений.
Авторы утверждают, что обучение с учителем необходимо для критически важных приложений, чтобы обеспечить детерминированные решения и избежать ошибки калибровки, присущей подходам zero-shot LLM.