CPU側のLinguistic Resource Forecasting (LRF)ゲートウェイが、EPO請求のような法的制約のあるテキストを扱う分散LLMスケジューラにおけるメモリ不足クラッシュを防ぐために提案されている。16次元のテキスト構造ベクトルを抽出しXGBoost予測子を適用することで、GPUメモリ割り当て前に業務量のトラップを予測する。
6,000件のリクエストによるライブ試験では、LRFゲートウェイは運用ミスルート率を0.087–0.095に削減し、トークンカウントベースラインの0.849より大幅に低かった。予測子はAUROC 0.84を達成し、動的ルーティング閾値は静的閾値と比較してミスルートで相対的に8.2%の削減をもたらした。WAN遅延が27倍変動しても、ピークエッジVRAMは4.82 GiBに抑えられた。
このシステムは、言語的曖昧性下でのハードウェア安定性を確保するため、リクエストをローカルのQwen2.5-7BワーカーまたはNVIDIA H100上のリモートアンサンブルのいずれかにルーティングする。