本記事では、Weaverを紹介しています。これは、独立性の仮定によって引き起こされる受容率の低下に対処するため、因子化されたドラフターの上位K個の周辺分布から提案木を構築する軽量な自己回帰アダプターです。

  • Weaverは、完全な語彙空間への射影を回避しつつ、提案されたトークン間の条件付き依存関係を回復します。
  • Gated Delta Netレイヤーを持つモデル向けにロールバックフリーのツリー検証アルゴリズムが導出され、SGLang内の最適化されたCUDAカーネルによって実装されています。
  • この手法は、自己回帰的デコーディングと比較して4.37倍の高速化を実現し、高度に最適化されたDFlashベースラインを24.7%上回ります。

これらのモデルとシステムの貢献を組み合わせることで、Weaverは推論デコーディングを通じて自己回帰言語モデルの対話性を大幅に向上させます。