Un usuario informa experimentar errores HTTP 500 intermitentes en un punto final de inferencia con manejador personalizado para incrustaciones de texto usando Llama-3.1-8B, con aproximadamente el 70% de las solicitudes fallando desde el 14 de julio de 2026.
Los fallos ocurren en la capa de pasarela o enrutador antes de llegar al contenedor, ya que las solicitudes fallidas no aparecen en los registros del contenedor mientras que las exitosas sí. El problema persiste en diferentes tipos de GPU (L40S y A100) y nuevas instancias del punto final, descartando causas específicas del código local o del hardware. El usuario señala que la página de estado no muestra ningún incidente y busca determinar si hay un problema conocido con la pasarela de inferencia en us-east-1.