Para peneliti memperkenalkan sebuah benchmark untuk mengevaluasi bagaimana agen LLM beradaptasi ketika keandalan alat yang tersedia berubah secara diam-diam selama sesi yang sedang berlangsung. Kerangka kerja memuat pustaka keterampilan-alat dengan redundansi dan menggunakan jadwal bercabang untuk menggeser kelompok alat yang andal pada batas-batas tersembunyi.
- Agen cenderung menetap pada rutinitas berulang kecil dalam beberapa giliran di setiap batas, memusatkan porsi panggilan pada nilai-nilai diskrit.
- Akurasi pergeseran set dinilai sebagai probabilitas gabungan untuk merutekan ke kelompok alat target di setiap jendela pasca-pengeseran.
- Menguji LLM bobot terbuka dalam harness agentic open-source mengungkap mode kegagalan yang secara kualitatif berbeda di seluruh rutinitas yang sama.
- Studi ini menemukan bahwa framing set, menyajikan alat sebagai bersaing atau melengkapi, menggeser dinamika perutean.
Evaluasi ini menyoroti mode kegagalan spesifik dan dampak presentasi alat terhadap perilaku agen saat menghadapi pergeseran keandalan tersembunyi.