लेखक इनफरेंस स्टैक के बैच-इनवेरियंस के कारण होने वाले नॉन-डिटरमिनिस्टिक LLM आउटपुट की समस्या को संबोधित करते हैं, यहाँ तक कि तापमान शून्य पर भी। विश्वसनीय परीक्षण सुनिश्चित करने के लिए, वे एकल परिणाम पर निर्भर रहने के बजाय पास दर की गणना करने के लिए रन दोहराने की सलाह देते हैं।
- अस्थिर एकल परिणाम के बजाय पास दर निर्धारित करने के लिए दोहराए गए रन का उपयोग करें।
- सुसंगत फॉर्मेटिंग के लिए संरचित आउटपुट लागू करें।
- मूल्यांकन के लिए एक कैलिब्रेटेड जज का प्रयोग करें।