Artikel ini memperkenalkan A.L.F.R.E.D., sebuah pendekatan yang disebut Adaptive Local-First Routing and Execution Distillation, yang bertujuan mengurangi biaya komputasi dengan mengalihkan tugas-tugas sederhana ke model yang lebih kecil.
- Sistem menangkap pola dari kueri sukses yang ditangani oleh model besar dan menyimpannya dalam basis data.
- Ketika permintaan serupa muncul, sistem mengalihkannya ke model 2B menggunakan pola yang disimpan alih-alih memanggil model besar.
- Metode ini mengurangi penggunaan token dari sekitar 7k menjadi ~1k untuk tugas sederhana, menghasilkan pengurangan biaya kecepatan sekitar 4x sambil mempertahankan validasi.
Pendekatan ini memungkinkan sistem mendelegasikan tugas-tugas berat penalaran ke model besar sambil menangani permintaan yang berulang atau berpola dengan model yang lebih kecil dan lebih cepat.