Pencipta Whetstone, sebuah gerbang promosi open source untuk model dan agen, mencari pengguna untuk menguji alat ini terhadap pembaruan model nyata. Whetstone membandingkan hasil tingkat item berpasangan untuk mendeteksi regresi tersembunyi yang mungkin dilewatkan oleh skor agregat.
- Ini menerapkan uji signifikansi tepat untuk menghasilkan tanda terima PASS, HOLD, atau BLOCK yang dapat direproduksi.
- Dalam pengujian lokal, ia mengidentifikasi tiga peningkatan dan tiga regresi dalam baseline seri, memblokir kandidat.
- Versi yang dihosting bersifat stateless untuk input sekali pakai, sementara pengujian nyata dijalankan secara lokal untuk menjaga data tetap privat.
- Penulis mengundang pembangun dengan model dasar, fine-tune, atau pembaruan agen untuk menantang asumsinya.
Tujuannya adalah menemukan kasus-kasus sulit di mana gerbang memberikan jawaban salah atau menjadi tidak praktis.