Un utilisateur signale des erreurs HTTP 500 intermittentes sur un point de terminaison d'inférence à gestionnaire personnalisé pour les embeddings de texte utilisant Llama-3.1-8B, avec environ 70 % des requêtes échouant depuis le 14 juillet 2026.
Les échecs se produisent au niveau de la passerelle ou du routeur avant d'atteindre le conteneur, car les requêtes échouées n'apparaissent pas dans les journaux du conteneur tandis que les requêtes réussies y figurent. Le problème persiste sur différents types de GPU (L40S et A100) et de nouvelles instances de point de terminaison, éliminant ainsi les causes liées au code local ou spécifiques au matériel. L'utilisateur note que la page d'état ne signale aucun incident et cherche à déterminer s'il existe un problème connu avec la passerelle d'inférence us-east-1.