EPO 청구와 같은 법적 제약이 있는 텍스트를 처리하는 분산 LLM 스케줄러의 메모리 부족 충돌을 방지하기 위해 CPU 측 Linguistic Resource Forecasting (LRF) 게이트웨이가 제안되었습니다. 16차원 텍스트 구조 벡터를 추출하고 XGBoost 예측자를 적용하여 GPU 메모리 할당 전에 작업량 트랩을 예측합니다.

6,000건의 요청 라이브 시험에서 LRF 게이트웨이는 운영 오류 라우팅 비율을 0.087–0.095로 줄여 토큰 수 기반라인인 0.849보다 현저히 낮았습니다. 예측자는 AUROC 0.84를 달성했으며, 동적 라우팅 임계값은 정적 임계값 대비 오류 라우팅을 상대적으론 8.2% 감소시켰습니다. WAN 지연이 27배 변동해도 최대 에지 VRAM은 4.82 GiB로 제한되었습니다.

이 시스템은 언어적 모호성 하에서 하드웨어 안정성을 보장하기 위해 요청을 로컬 Qwen2.5-7B 작업자 또는 NVIDIA H100의 원격 앙상블 중 하나로 라우팅합니다.