Mistral AI와 All Hands AI는 실제 세계의 소프트웨어 엔지니어링 작업을 위해 설계된 에이전트 대규모 언어 모델인 Devstral을 출시했습니다. 이 모델은 OpenHands나 SWE-Agent와 같은 코드 에이전트 스캐폴드 위에서 실행하여 실제 GitHub 이슈를 해결하도록 훈련되었습니다.

  • Devstral은 SWE-Bench Verified 벤치마크에서 46.8%의 점수를 달성하여 기존 오픈소스 최상위 모델보다 6퍼센트포인트 이상 높은 성능을 보였습니다.
  • 동일한 테스트 스캐폴드 하에서 평가할 때 Deepseek-V3-0324 (671B) 및 Qwen3 232B-A22B와 같은 더 큰 모델의 성능을 초과합니다.
  • 이 모델은 벤치마크에서 GPT-4.1-mini와 같은 폐쇄형 대안보다 20% 이상 뛰어난 성능을 보입니다.
  • Devstral은 단일 RTX 4090 또는 32GB RAM을 갖춘 Mac에서 로컬로 실행할 수 있을 정도로 경량이며, Apache 2.0 라이선스 하에 제공됩니다.

이번 출시는 프라이버시가 민감한 환경에서의 기업용 사용, 로컬 배포를 위한 도구 제공, 그리고 에이전트 코딩 IDE와의 통합을 목표로 합니다.