Mistral AI dan All Hands AI telah merilis Devstral, sebuah model bahasa besar agentic yang dirancang untuk tugas rekayasa perangkat lunak dunia nyata. Model ini dilatih untuk menyelesaikan masalah GitHub aktual dengan menjalankan skafol agen kode seperti OpenHands atau SWE-Agent.

  • Devstral mencapai skor 46.8% pada benchmark SWE-Bench Verified, mengungguli model state-of-the-art open-source sebelumnya lebih dari 6 poin persentase.
  • Performanya melampaui model yang lebih besar seperti Deepseek-V3-0324 (671B) dan Qwen3 232B-A22B saat dievaluasi di bawah skafol pengujian yang sama.
  • Model ini mengungguli alternatif tertutup seperti GPT-4.1-mini sebesar lebih dari 20% pada benchmark tersebut.
  • Devstral cukup ringan untuk dijalankan secara lokal pada satu RTX 4090 atau Mac dengan RAM 32GB, dan tersedia di bawah lisensi Apache 2.0.

Rilis ini bertujuan menyediakan alat untuk penempatan lokal, penggunaan perusahaan dalam lingkungan yang sensitif terhadap privasi, serta integrasi ke dalam IDE pemrograman agentic.