Seorang pengguna melaporkan mengalami kesalahan HTTP 500 intermiten pada Endpoint Inferensi handler kustom untuk embedding teks menggunakan Llama-3.1-8B, dengan sekitar 70% permintaan gagal sejak 14 Juli 2026.
Kegagalan terjadi di lapisan gateway atau router sebelum mencapai kontainer, karena permintaan yang gagal tidak muncul dalam log kontainer sementara yang berhasil muncul. Masalah ini berlanjut di berbagai jenis GPU (L40S dan A100) serta instance endpoint baru, mengesampingkan penyebab kode lokal atau spesifik perangkat keras. Pengguna mencatat bahwa halaman status menunjukkan tidak ada insiden dan berupaya menentukan apakah ada masalah yang diketahui dengan gateway inferensi us-east-1.