あるRedditユーザーは、3B〜14Bパラメータのワークフロー固有の検証モデルを構築するための共同イニシアチブを提案しています。この提案は、Pi、aider、OMPなどのツールを通じて収集されたコミュニティデータを活用し、セマンティックドリフトや依存関係エラーといった信頼性問題を解決することを目指しています。

  • 一般的な最先端モデルではなく、追跡、批評、テストなどのタスクに特化したモデルを作成する。
  • SWE-Bench、SWE-gym、Openhandsなどのプロジェクトから既存のベンチマークとトラジェクトリデータセットを活用する。
  • アーキテクチャドリフトや不良なロールバック動作など、信頼性の側面に焦点を当てた特定の分類体系を開発する。

著者は、このアプローチの実現可能性に関するフィードバックや、既存の類似イニシアチブに関する情報を求めています。