Автор рассматривает проблему недетерминированных выходных данных LLM, вызванную batch-инвариантностью стека вывода даже при температуре ноль. Для обеспечения надежного тестирования он рекомендует повторять запуски для расчета доли успешных прохождений, а не полагаться на один результат.
- Используйте повторяющиеся запуски для определения доли успешных прохождений вместо ненадежного единичного результата.
- Реализуйте структурированные выходные данные для согласованного форматирования.
- Применяйте калиброванного судью для оценки.