Le créateur de Whetstone, une porte de promotion open source pour les modèles et agents, cherche des utilisateurs pour tester l'outil contre des mises à jour réelles de modèles. Whetstone compare les résultats au niveau des éléments appariés pour détecter les régressions cachées que les scores agrégés pourraient manquer.
- Il applique des tests de significativité exacts pour produire des reçus reproductibles PASS, HOLD ou BLOCK.
- Dans un test local, il a identifié trois gains et trois régressions dans une ligne de base ex æquo, bloquant le candidat.
- La version hébergée est sans état pour les entrées jetables, tandis que les tests réels s'exécutent localement pour garder les données privées.
- L'auteur invite les constructeurs avec des modèles de base, des ajustements fins ou des mises à jour d'agents à défier ses hypothèses.
L'objectif est de trouver des cas délicats où la porte donne de mauvaises réponses ou devient impraticable.