한 레딧 사용자는 3B에서 14B 파라미터 범위의 워크플로우 특화 검증 모델을 구축하기 위한 협력 이니셔티브를 제안했습니다. 이 제안은 Pi, aider, OMP 등의 도구를 통해 수집된 커뮤니티 데이터를 활용하여 의미 드리프트 및 의존성 오류와 같은 신뢰성 문제를 해결하는 것을 목표로 합니다.

  • 일반적인 프론티어 모델이 아닌 추적, 비판, 테스트 등의 작업에 특화된 모델을 생성합니다.
  • SWE-Bench, SWE-gym, Openhands 등의 프로젝트에서 기존 벤치마크 및 트래젝토리 데이터셋을 활용합니다.
  • 아키텍처 드리프트 및 잘못된 롤백 동작 등 신뢰성 측면에 초점을 맞춘 특정 분류 체계를 개발합니다.

저자는 이 접근 방식의 실현 가능성에 대한 피드백이나 기존 유사 이니셔티브에 대한 정보를 요청하고 있습니다.