Os autores propõem um framework onde métricas de avaliação e habilidades do agente co-evoluem para permitir auto-melhoria na ausência de métricas pré-existentes confiáveis. Esta abordagem utiliza um ciclo de vida evolutivo para buscar composições de pequenos detectores de falhas, criando uma métrica transparente e inspecionável que concorda com conjuntos de referência ancorados.
- O loop de métricas é treinado para concordar com um conjunto de referência ancorado de dez itens e regularizado por consenso sobre saídas não rotuladas.
- Double Ratchet co-evolui a métrica com um loop de habilidades gerenciado pelo ciclo de vida em geração de código (MBPP+), texto para SQL empresarial (Spider~2.0-Snow) e geração de relatórios.
- O sistema retém 88--110% do ganho mantido fora da amostra alcançado por loops de habilidades impulsionados por ground truth ou a melhor rubrica disponível.
- A segurança é mantida através da disciplina de ancoragem e auditorias externas, com um juiz independente detectando rubricas manipuladas em tarefas de geração de relatórios.
Os autores argumentam que esta arquitetura expectante de falhas serve como o padrão correto para aplicações onde não existe um verificador automático confiável.