El creador de Whetstone, una puerta de promoción de código abierto para modelos y agentes, busca usuarios que prueben la herramienta con actualizaciones reales de modelos. Whetstone compara resultados a nivel de ítems emparejados para detectar regresiones ocultas que las puntuaciones agregadas podrían pasar por alto.
- Aplica pruebas de significancia exactas para generar recibos reproducibles de PASS, HOLD o BLOCK.
- En una prueba local, identificó tres mejoras y tres regresiones en una línea base empatada, bloqueando al candidato.
- La versión alojada es sin estado para entradas desechables, mientras que las pruebas reales se ejecutan localmente para mantener los datos privados.
- El autor invita a los desarrolladores con modelos base, ajustes finos o actualizaciones de agentes a desafiar sus supuestos.
El objetivo es encontrar casos incómodos donde la puerta dé respuestas incorrectas o resulte impráctica.