O criador do Whetstone, uma porta de promoção de código aberto para modelos e agentes, está buscando usuários para testar a ferramenta contra atualizações reais de modelos. O Whetstone compara resultados em nível de itens pareados para detectar regressões ocultas que as pontuações agregadas podem perder.
- Ele aplica testes de significância exatos para produzir recibos reproduzíveis de PASS, HOLD ou BLOCK.
- Em um teste local, identificou três ganhos e três regressões em uma linha de base empatada, bloqueando o candidato.
- A versão hospedada é sem estado para entradas descartáveis, enquanto os testes reais são executados localmente para manter os dados privados.
- O autor convida construtores com modelos base, ajustes finos ou atualizações de agentes para desafiar suas suposições.
O objetivo é encontrar casos complicados onde a porta dá respostas erradas ou se torna impraticável.