Un usuario de Reddit sugiere una iniciativa colaborativa para construir modelos de verificación pequeños y específicos para flujos de trabajo, que varían de 3B a 14B parámetros. La propuesta tiene como objetivo aprovechar los datos de la comunidad recopilados a través de herramientas como Pi, aider u OMP para abordar problemas de confiabilidad como la deriva semántica y errores de dependencia.
- Crear modelos especializados para tareas como rastreo, crítica y pruebas en lugar de modelos generales de vanguardia.
- Utilizar benchmarks existentes y conjuntos de datos de trayectorias de proyectos como SWE-Bench, SWE-gym y Openhands.
- Desarrollar una taxonomía específica para centrarse en aspectos de confiabilidad que incluyen deriva de arquitectura y mal comportamiento al revertir cambios.
El autor invita a comentarios sobre la viabilidad de este enfoque o información sobre iniciativas similares existentes.