Un utilisateur de Reddit suggère une initiative collaborative visant à construire des modèles de vérification spécifiques au workflow, allant de 3B à 14B paramètres. La proposition vise à exploiter les données communautaires collectées via des outils comme Pi, aider ou OMP pour résoudre des problèmes de fiabilité tels que la dérive sémantique et les erreurs de dépendance.

  • Créer des modèles spécialisés pour des tâches telles que le traçage, la critique et les tests plutôt que des modèles frontiers généralistes.
  • Utiliser les benchmarks existants et les ensembles de données de trajectoire provenant de projets comme SWE-Bench, SWE-gym et Openhands.
  • Développer une taxonomie spécifique pour se concentrer sur les aspects de fiabilité, y compris la dérive d'architecture et les comportements de rollback incorrects.

L'auteur invite à donner son avis sur la faisabilité de cette approche ou à fournir des informations concernant d'éventuelles initiatives similaires existantes.