O autor aborda o problema de saídas não determinísticas de LLM causadas pela invariância de batch na pilha de inferência, mesmo a temperatura zero. Para garantir testes confiáveis, eles recomendam repetir execuções para calcular uma taxa de aprovação em vez de depender de um único resultado.
- Use execuções repetidas para determinar uma taxa de aprovação em vez de um resultado instável.
- Implemente saídas estruturadas para formatação consistente.
- Empregue um juiz calibrado para avaliação.