研究者らはDeLS-Specを提案した。この手法は、固定されたDFlashモデルを長文脈の専門家として扱い、軽量なローカルヘッドを短文脈の専門家として導入する。このアプローチにより、ローカルヘッドはターゲットモデルやDFlashバックボーンとの共同学習を必要とせず、標準的な次トークン予測目的関数で独立して訓練できる。

  • DeLS-Specは、ローカルヘッドを特定のDFlashチェックポイントに紐付けずに、推論時に長文脈と短文脈のロジットを結合する。
  • ドラフト生成のプロセスを分離することで、極めて低い訓練コストを実現する。
  • Qwen3モデル上での実験では、数学、コード、対話のベンチマークにおいてDFlashと比較して、速度向上と平均受容長の一貫した改善を示した。

このモジュール設計は、ドラフトモデルの高価な再学習を必要とせずに、推論によるドラフト生成においてより高い柔軟性と効率性を提供する。