一名用户报告在使用 Llama-3.1-8B 进行文本嵌入的自定义处理程序推理端点上遇到间歇性 HTTP 500 错误,自 2026 年 7 月 14 日起,约 70% 的请求失败。
故障发生在到达容器之前的网关或路由器层,因为失败的请求不会出现在容器日志中,而成功的请求会。该问题在不同 GPU 类型(L40S 和 A100)以及新的端点实例上持续存在,排除了本地代码或特定硬件问题的可能性。 用户指出状态页面上没有显示任何事件,并试图确定 us-east-1 推理网关是否存在已知问题。
一名用户报告在使用 Llama-3.1-8B 进行文本嵌入的自定义处理程序推理端点上遇到间歇性 HTTP 500 错误,自 2026 年 7 月 14 日起,约 70% 的请求失败。
故障发生在到达容器之前的网关或路由器层,因为失败的请求不会出现在容器日志中,而成功的请求会。该问题在不同 GPU 类型(L40S 和 A100)以及新的端点实例上持续存在,排除了本地代码或特定硬件问题的可能性。 用户指出状态页面上没有显示任何事件,并试图确定 us-east-1 推理网关是否存在已知问题。