Pesquisadores desenvolveram o Replica, um espaço de tarefas escalável para replicação de artigos, para atender à necessidade de conhecimento científico confiável. Eles realizaram pós-treinamento no Faraday, um agente "AI Scientist" de 27B parâmetros que usa agentes de codificação como ferramentas, para aproveitar este ambiente.

  • O Replica fornece um juiz baseado em rubricas auto-gerado com baixo ruído que se alinha com a avaliação humana da qualidade da replicação.
  • O Faraday supera o desempenho do Claude Opus 4.8 e GPT-5.5 em tarefas de replicação retidas.
  • A análise qualitativa mostra que o Faraday adota uma abordagem mais fundamentada cientificamente em comparação com outros modelos.

Os resultados servem como um passo em direção a agentes de IA capazes de inovação científica de longo prazo sem exigir harnesses complexos.