本記事では、Adaptive Local-First Routing and Execution Distillationと呼ばれるアプローチであるA.L.F.R.E.D.を紹介しています。これは、単純なタスクを小規模モデルにルーティングすることで計算コストを削減することを目指しています。
- システムは、大規模モデルによって処理された成功したクエリのパターンをキャプチャし、データベースに保存します。
- 類似のリクエストが発生すると、システムは保存されたパターンを使用して大規模モデルを呼び出す代わりに2Bモデルにルーティングします。
- この手法により、単純なタスクでのトークン使用量が約7kから~1kに削減され、検証を維持しながら速度コストが約4分の1になります。
このアプローチにより、システムは推論を必要とする重いタスクを大規模モデルに委譲し、反復的またはパターン化されたリクエストを小規模で高速なモデルで処理することができます。