Microsoftは、Phi-4の技術レポートを公開しました。Phi-4は140億パラメータの言語モデルで、トレーニング全体を通じて戦略的に合成データを活用することでデータの品質を優先しています。
- このモデルは、単なる有機的なWebコンテンツやコードではなく、高品質な合成データに焦点を当てたトレーニングレシピを使用しています。
- Phi-4はSTEM中心の質問応答能力においてGPT-4を大幅に上回ります。
- データの改善、トレーニングカリキュラム、およびポストトレーニングの革新により、特に推論中心のベンチマークにおいてそのサイズに対して強力なパフォーマンスを実現しています。
レポートでは、phi-3からのアーキテクチャの変更が最小限であるにもかかわらず、データの品質への焦点を当てることで、特定のドメインにおいて教師モデルの能力を上回ることが強調されています。