一位Reddit用户建议发起一项协作倡议，构建面向特定工作流的小型验证模型，参数量在3B到14B之间。该提案旨在利用通过Pi、aider或OMP等工具收集的社区数据，以解决语义漂移和依赖错误等可靠性问题。
- 为追踪、批评和测试等任务创建专用模型，而非通用前沿模型。
- 利用SWE-Bench、SWE-gym和Openhands等项目现有的基准测试和轨迹数据集。
- 开发特定的分类法，重点关注包括架构漂移和不良回滚行为在内的可靠性方面。
作者邀请大家就这种方法的可行性提供反馈，或分享任何现有类似倡议的信息。