Propõe-se um gateway de Previsão de Recursos Linguísticos (LRF) no lado da CPU para prevenir falhas por falta de memória em escalonadores distribuídos de LLM que manipulam texto com restrições estatutárias, como reivindicações EPO. Ao extrair um vetor de estrutura de texto de 16 dimensões e aplicar um preditor XGBoost, o sistema prevê armadilhas de carga antes da alocação de memória GPU.
Em um teste ao vivo com 6.000 solicitações, o gateway LRF reduziu a fração de roteamento operacional incorreto para 0,087–0,095, significativamente menor que a linha de base de contagem de tokens de 0,849. O preditor alcançou um AUROC de 0,84, enquanto o limiar de roteamento dinâmico proporcionou uma redução relativa de 8,2% nos roteamentos incorretos em comparação com os limiares estáticos. A VRAM de pico permaneceu limitada a 4,82 GiB apesar de uma variação de 27 vezes na latência WAN.
O sistema roteia as solicitações para um trabalhador local Qwen2.5-7B ou um conjunto remoto em uma NVIDIA H100, garantindo estabilidade de hardware sob ambiguidade linguística.