Пользователь Reddit предлагает совместную инициативу по созданию небольших моделей верификации, ориентированных на конкретные рабочие процессы, с количеством параметров от 3B до 14B. Предложение направлено на использование данных сообщества, собранных через такие инструменты, как Pi, aider или OMP, для решения проблем надежности, таких как семантический дрейф и ошибки зависимостей.

  • Создавать специализированные модели для задач, таких как трассировка, критика и тестирование, а не общие передовые модели.
  • Использовать существующие бенчмарки и наборы данных траекторий из проектов SWE-Bench, SWE-gym и Openhands.
  • Разработать конкретную таксономию для фокусировки на аспектах надежности, включая дрейф архитектуры и плохое поведение отката.

Автор приглашает к обсуждению осуществимости этого подхода или информации о любых существующих аналогичных инициативах.