एक उपयोगकर्ता ने Llama-3.1-8B का उपयोग करके टेक्स्ट एम्बेडिंग्स के लिए कस्टम-हैंडलर इन्फरेंस एंडपॉइंट पर अंतरालीय HTTP 500 त्रुटियों की रिपोर्ट की है, जहाँ 14 जुलाई 2026 से लगभग 70% अनुरोध विफल हो रहे हैं।
विफलताएँ कंटेनर तक पहुँचने से पहले गेटवे या राउटर परत में होती हैं, क्योंकि विफल अनुरोध कंटेनर लॉग में नहीं दिखाई देते जबकि सफल अनुरोध दिखाई देते हैं। यह समस्या विभिन्न GPU प्रकारों (L40S और A100) और नए एंडपॉइंट इंस्टेंस के पार बनी हुई है, जिससे स्थानीय कोड या हार्डवेयर-विशिष्ट कारणों को खारिज कर दिया जाता है। उपयोगकर्ता ने नोट किया कि स्टेटस पेज पर कोई आपातकाल नहीं दिखाया गया है और वह us-east-1 इन्फरेंस गेटवे के साथ किसी ज्ञात समस्या की पहचान करने का प्रयास कर रहा है।