研究者たちは、8B の推論教師モデル (deepseek-r1:8B) を 0.6B の学生モデル (QLoRA を介した Qwen3-0.6B) に蒸留することで、大幅なレイテンシとコストの削減を実現しつつ、高ボリュームの構造化抽出を可能であることを実証しました。この手法は、要約とカテゴリラベルを含む JSON オブジェクトへのニュース記事のマッピングについて評価され、蒸留モデルがファショットプロンプティングや制約付きデコーディングのベースラインと比較されました。
- 学生モデルは各記事を約 0.8 秒で処理し、教師モデルの 39 秒と比較して、ベースモデルに対するパフォーマンスギャップの 58% を回復しました。
- 盲検化された三人の審査員パネルによる要約品質スコアにおいて、制約付きデコーディングよりも +16.8 ポイント、ファショットプロンプティングよりも +4.9 ポイント上回りました。
- 教師の推論能力は記述の質にとって重要であり、同じサイズの非推論教師から蒸留すると、チューニングされていないベースモデルに対して改善が見られません。
- 推論系統は要約生成を改善しますが、指示ベースの教師（より良いグラウンディングを維持）と比較して、薄型ソースの記事でより多くの捏造を引き起こします。
これらの知見は、単一のエンジンがすべての分野で勝利するわけではないため、オンデバイス拡張には単一モデルに依存するのではなく、フィールドごとのルーティングマップを含む最適なアプローチを示唆しています。