Qwenチームは、Qwen2.5アーキテクチャから派生した新しいコード専用言語モデルのセットであるQwen2.5-Coderシリーズを発表しました。このシリーズには0.5Bから32Bパラメータまでの6つのモデルサイズが含まれており、クリーニングされたソースコードと合成データの5.5兆トークン以上でトレーニングされています。

  • モデルは、コード生成、補完、推論、および修復の10以上のベンチマークで最先端のパフォーマンスを達成しています。
  • Qwen2.5-Coder-32B-Instructは、強力な汎用および数学的スキルを維持しながら、GPT-4oのコーディング能力と同等です。
  • アーキテクチャには、Fill-in-the-Middle (FIM) 操作とリポジトリレベルのコンテキスト管理をサポートするための特殊トークンが含まれています。
  • リリースには、開発者によるより広範な採用を促進する寛容なライセンスが含まれています。

著者は、これらのオープンソースモデルを通じてコードインテリジェンスの研究を推進し、現実世界のアプリケーションをサポートすることを目指しています。