La passerelle LRF réduit les plantages OOM en prévoyant la charge de travail des réclamations EPO

Une passerelle Linguistic Resource Forecasting (LRF) côté CPU est proposée pour prévenir les plantages par manque de mémoire dans les planificateurs LLM distribués traitant des textes soumis à des contraintes légales comme les réclamations EPO. En extrayant un vecteur de structure textuelle à 16 dimensions et en appliquant un prédicteur XGBoost, le système anticipe les pièges de charge avant l'allocation de la mémoire GPU.

Lors d'un essai en direct sur 6 000 requêtes, la passerelle LRF a réduit la fraction de routage opérationnel erroné à 0,087–0,095, nettement inférieur à la base de référence par comptage de tokens de 0,849. Le prédicteur a atteint un AUROC de 0,84, tandis que le seuil de routage dynamique a permis une réduction relative de 8,2 % des erreurs de routage par rapport aux seuils statiques. La VRAM de bord maximale est restée limitée à 4,82 GiB malgré une variation de 27 fois du délai WAN.

Le système achemine les requêtes vers un travailleur local Qwen2.5-7B ou un ensemble distant sur un NVIDIA H100, garantissant la stabilité matérielle en cas d'ambiguïté linguistique.