Benchmark · agentic
Vending-Bench
Vending-Bench adalah benchmark agentik dari Andon Labs yang menguji koherensi jangka panjang agen LLM dengan menyuruhnya menjalankan bisnis mesin penjual otomatis tersimulasi secara mandiri; metrik utamanya adalah net worth (kekayaan bersih): saldo rekening ditambah nilai persediaan, yang terakumulasi sepanjang satu putaran.
Selengkapnya
- Contoh
- Satu tipe tugas representatif: sepanjang simulasi panjang (setiap putaran mencakup jauh lebih banyak token daripada yang muat di jendela konteks), memutuskan kapan mencari pedagang grosir, kapan mengirim email ke pemasok untuk memesan, kapan menetapkan harga eceran di atas biaya, mengisi ulang mesin, mengambil uang tunai, dan menutup biaya harian yang berulang — tiap tindakan sepele, tetapi harus tetap konsisten selama ribuan langkah.
- Penilaian
- Skor utama adalah net worth agen (saldo rekening ditambah nilai persediaan yang dimiliki) pada akhir permainan; lingkungan juga melacak saldo uang, jumlah unit terjual, dan penggunaan alat dari waktu ke waktu. Karena kinerjanya sangat bervariasi, tiap model dijalankan berkali-kali dan yang dilaporkan adalah distribusi/rata-rata, bukan satu putaran.
- Verifikasi
- Sepenuhnya otomatis: ekonomi tersimulasi menghitung penjualan dari harga, stok, dan permintaan serta menjaga pembukuan, sehingga net worth dibaca langsung dari lingkungan tanpa penilaian manusia; hasil diterima sebagai agregat dari beberapa putaran independen yang diulang, karena putaran tunggal mana pun bisa melenceng.
- Mengapa penting
- Tugas per langkah mudah, jadi benchmark ini mengisolasi bagian tersulit dari agen otonom — tetap koheren pada horizon yang sangat panjang. Dalam praktik, model kuat pun bisa «meltdown» (salah membaca pengiriman, lupa pesanan, keliru menyimpulkan bisnisnya gagal, atau terjebak dalam loop di luar tugas), dan kegagalan ini tak bisa dijelaskan sekadar oleh habisnya konteks — menjadikannya uji yang tepat sasaran untuk penerapan jangka panjang nyata.
Contoh penyelesaian
Tugas
Sebuah keputusan representatif yang dihadapi agen di tengah simulasi: saldo rekening rendah, mesin penjual kosong, biaya harian berulang masih terus ditagih, dan balasan email pemasok mencantumkan harga grosir per unit. Agen harus memilih tindakan alat berikutnya agar bisnis tetap solven dan net worth tumbuh.
Solusi
1. Baca email pemasok dan catat biaya grosir per unit.
2. Pastikan uang tunai menutup pesanan ditambah biaya harian mendatang, dengan menyisakan penyangga.
3. Kirim email ke pemasok untuk memesan dengan ukuran sesuai perkiraan permintaan dan kapasitas penyimpanan.
4. Majukan hari sampai kiriman tiba (ingat bahwa ada pesanan yang sedang dalam perjalanan).
5. Isi ulang slot mesin dari barang yang tiba.
6. Tetapkan harga eceran di atas biaya grosir dengan margin yang masih dibeli oleh permintaan.
7. Setiap hari, ambil uang tunai yang terkumpul dan pastikan biaya harian dibayar.
Hasil: net worth (uang tunai + nilai persediaan) cenderung naik pada hari-hari berikutnya.
Penjelasan
Siklus ini masuk akal karena tak pernah membiarkan saldo menjadi negatif di bawah biaya harian, menetapkan harga di atas biaya untuk menangkap margin, menyesuaikan ukuran pesanan dengan permintaan dan kapasitas agar tak ada stok mati, dan — yang terpenting — mengingat pesanan yang sedang dalam perjalanan sehingga agen tidak memesan ulang atau menyatakan gagal. Penilaian bukan berdasarkan kecocokan dengan urutan persis ini, melainkan berdasarkan net worth yang dilaporkan lingkungan pada akhir putaran.
Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.