Um usuário do Reddit sugere uma iniciativa colaborativa para construir modelos de verificação pequenos e específicos para fluxos de trabalho, variando de 3B a 14B parâmetros. A proposta visa aproveitar os dados da comunidade reunidos por meio de ferramentas como Pi, aider ou OMP para abordar problemas de confiabilidade, como deriva semântica e erros de dependência.
- Criar modelos especializados para tarefas como rastreamento, crítica e testes, em vez de modelos gerais de fronteira.
- Utilizar benchmarks existentes e conjuntos de dados de trajetória de projetos como SWE-Bench, SWE-gym e Openhands.
- Desenvolver uma taxonomia específica para focar em aspectos de confiabilidade, incluindo deriva de arquitetura e mau comportamento ao reverter alterações.
O autor convida a comentários sobre a viabilidade dessa abordagem ou informações sobre iniciativas semelhantes existentes.