La puerta de enlace LRF reduce los fallos OOM pronosticando la carga de trabajo de reclamaciones EPO

Se propone una puerta de enlace de Pronóstico de Recursos Lingüísticos (LRF) en el lado de la CPU para prevenir fallos por falta de memoria en programadores distribuidos de LLM que manejan texto con restricciones estatutarias como las reclamaciones EPO. Al extraer un vector de estructura de texto de 16 dimensiones y aplicar un predictor XGBoost, el sistema pronostica trampas de carga antes de la asignación de memoria GPU.

En una prueba en vivo con 6.000 solicitudes, la puerta de enlace LRF redujo la fracción de rutas operativas incorrectas a 0.087–0.095, significativamente menor que la línea base de conteo de tokens de 0.849. El predictor alcanzó un AUROC de 0.84, mientras que el umbral de enrutamiento dinámico produjo una reducción relativa del 8.2% en rutas incorrectas en comparación con los umbrales estáticos. La VRAM pico se mantuvo acotada en 4.82 GiB a pesar de una variación de 27 veces en la demora WAN.

El sistema enruta las solicitudes ya sea a un trabajador local Qwen2.5-7B o a un conjunto remoto en una NVIDIA H100, asegurando la estabilidad del hardware bajo ambigüedad lingüística.