L'auteur aborde le problème des sorties LLM non déterministes causées par l'invariance au batch de la pile d'inférence, même à température nulle. Pour garantir des tests fiables, il recommande de répéter les exécutions pour calculer un taux de réussite plutôt que de s'appuyer sur un seul résultat.
- Utilisez des exécutions répétées pour déterminer un taux de réussite au lieu d'un résultat instable.
- Implémentez des sorties structurées pour un formatage cohérent.
- Employez un juge calibré pour l'évaluation.