Gerbang LRF mengurangi crash OOM dengan meramalkan beban kerja klaim EPO

Sebuah gerbang Linguistic Resource Forecasting (LRF) sisi CPU diusulkan untuk mencegah crash out-of-memory pada penjadwal LLM terdistribusi yang menangani teks dengan batasan hukum seperti klaim EPO. Dengan mengekstrak vektor struktur teks 16-dimensi dan menerapkan prediktor XGBoost, sistem meramalkan jebakan beban kerja sebelum alokasi memori GPU.

Dalam uji coba langsung 6.000 permintaan, gerbang LRF mengurangi fraksi rute operasional yang salah menjadi 0,087–0,095, jauh lebih rendah daripada baseline hitungan token sebesar 0,849. Prediktor mencapai AUROC 0,84, sedangkan ambang batas routing dinamis menghasilkan pengurangan relatif 8,2% dalam rute salah dibandingkan dengan ambang batas statis. VRAM tepi puncak tetap dibatasi pada 4,82 GiB meskipun variasi penundaan WAN sebesar 27x.

Sistem ini mengalihkan permintaan ke pekerja Qwen2.5-7B lokal atau ensambel jarak jauh di NVIDIA H100, memastikan stabilitas perangkat keras di bawah ambiguitas linguistik.