Исследователи предлагают протокол для смягчения p-hacking в исследованиях больших языковых моделей (LLM) путем пререгистрации экспериментов и проведения подтверждающего анализа на первой доступной LLM, выпущенной после принятия обязательств. Этот подход предотвращает настройку промптов или параметров исследователями для достижения желаемых результатов, поскольку целевая модель еще не существует на момент пререгистрации.

  • Протокол требует завершения процедур на текущих моделях, пререгистрации плана анализа с набором будущих моделей, имеющих право на использование, и выполнения анализа на первой доступной модели, выпущенной после этого.
  • Оценка по 20 моделям от четырех провайдеров показала, что протокол заблокировал успешный перенос p-hacking в 73,9% и 72,7% случаев для двух задач с известными истинными значениями.
  • Независимое тестирование, проведенное по этому протоколу, подтвердило его эффективность: хакерство не перенеслось в 6 из 7 конфигураций на первой доступной модели, выпущенной после пререгистрации.

Этот метод помогает обеспечить целостность исследований на основе LLM, делая трудным манипулирование результатами через итеративную настройку, поскольку конфигурации, взламывающие одну модель, часто не переносятся на следующую.