저자는 온도 제로에서도 추론 스택의 배치 불변성으로 인해 발생하는 비결정적 LLM 출력 문제를 다룹니다. 신뢰할 수 있는 테스트를 위해 단일 결과에 의존하는 대신 실행을 반복하여 통과율을 계산할 것을 권장합니다.

  • 불안정한 단일 결과 대신 실행을 반복하여 통과율을 결정하세요.
  • 일관된 형식을 위해 구조화된 출력을 구현하세요.
  • 평가를 위해 교정된 판정자를 사용하세요.