El autor aborda el problema de las salidas no deterministas de LLM causadas por la invarianza del batch en el stack de inferencia, incluso a temperatura cero. Para garantizar pruebas confiables, recomienda repetir ejecuciones para calcular una tasa de aprobación en lugar de depender de un solo resultado.
- Utilice ejecuciones repetidas para determinar una tasa de aprobación en lugar de un resultado inestable.
- Implemente salidas estructuradas para un formato consistente.
- Emplee un juez calibrado para la evaluación.