提出了一种CPU端的语言资源预测(LRF)网关,以防止处理受法定约束文本(如EPO索赔)的分布式LLM调度器中出现内存不足崩溃。通过提取16维文本结构向量并应用XGBoost预测器,系统在GPU内存分配之前预测工作量陷阱。

在6000次请求的实时试验中,LRF网关将操作错误路由比例降低至0.087–0.095,显著低于基于令牌计数的基线0.849。预测器达到了0.84的AUROC,而动态路由阈值相比静态阈值使错误路由相对减少了8.2%。尽管WAN延迟变化达27倍,峰值边缘VRAM仍保持在4.82 GiB以内。

该系统将请求路由到本地Qwen2.5-7B工作节点或远程NVIDIA H100上的集成模型,确保在语言歧义下的硬件稳定性。