Sistem Buddy menggunakan monitor entropi Rust untuk mendeteksi ketidakpastian per-token dalam inferensi Gemma 3 4B lokal, mengalihkan hanya token yang tidak pasti ke Sonnet melalui ekstraksi rentang gerbang NER dan pengambilan semantik. Benchmark menunjukkan mencapai akurasi 71,4% pada $0,21, mengungguli pola Anthropic Advisor (62,9% pada $0,44) di tujuh dataset Hugging Face, dengan peningkatan kunci pada SQuAD v2 dengan mengalihkan potongan passage sumber ke model cloud.
Sistem Buddy: Monitor entropi Rust dengan ketidakpastian gerbang NER untuk inferensi LLM bertingkat
Diterjemahkan dari English → Bahasa Indonesia