Предлагается шлюз прогнозирования лингвистических ресурсов (LRF) на стороне CPU для предотвращения сбоев из-за нехватки памяти в распределённых планировщиках LLM, обрабатывающих текст со статутными ограничениями, такой как заявки EPO. Извлекая 16-мерный вектор структуры текста и применяя предиктор XGBoost, система прогнозирует ловушки нагрузки до выделения памяти GPU.
В живом испытании с 6000 запросами шлюз LRF снизил долю операционных ошибочных маршрутов до 0.087–0.095, что значительно ниже базового уровня по подсчёту токенов — 0.849. Предиктор достиг AUROC 0.84, а динамический порог маршрутизации обеспечил относительное снижение ошибочных маршрутов на 8.2% по сравнению со статическими порогами. Пиковое использование VRAM оставалось ограниченным на уровне 4.82 GiB при вариации задержки WAN в 27 раз.
Система направляет запросы либо локальному рабочему узлу Qwen2.5-7B, либо удалённому ансамблю на NVIDIA H100, обеспечивая стабильность оборудования при лингвистической неоднозначности.