추론 엔드포인트의 간헐적 500 오류 - 컨테이너에 요청이 도달하지 않음

한 사용자는 Llama-3.1-8B를 사용한 텍스트 임베딩을 위한 커스텀 핸들러 추론 엔드포인트에서 2026년 7월 14일 이후 약 70%의 요청이 실패하는 간헐적인 HTTP 500 오류가 발생한다고 보고했습니다.

실패한 요청은 컨테이너 로그에 나타나지 않는 반면 성공한 요청은 나타나는 것으로 보아, 실패는 컨테이너에 도달하기 전 게이트웨이 또는 라우터 계층에서 발생합니다. 이 문제는 서로 다른 GPU 유형(L40S 및 A100)과 새로운 엔드포인트 인스턴스에서도 지속되어 로컬 코드나 하드웨어 특정 원인이 배제되었습니다. 사용자는 상태 페이지에 사고가 표시되지 않는다고 지적하며 us-east-1 추론 게이트웨이에 알려진 문제가 있는지 확인하고자 합니다.