Пользователь сообщает о периодических ошибках HTTP 500 на пользовательском эндпоинте инференса с обработчиком для текстовых эмбеддингов, использующем Llama-3.1-8B, при этом около 70% запросов завершаются неудачно начиная с 14 июля 2026 года.
Сбои происходят на уровне шлюза или маршрутизатора до достижения контейнера, поскольку неудачные запросы не появляются в логах контейнера, тогда как успешные — появляются. Проблема сохраняется при использовании разных типов GPU (L40S и A100) и новых экземпляров эндпоинта, что исключает локальные ошибки кода или аппаратные проблемы. Пользователь отмечает, что на странице статуса нет инцидентов, и пытается выяснить, есть ли известная проблема с шлюзом инференса в регионе us-east-1.