Buddy Systemは、ローカルのGemma 3 4B推論におけるトークンごとの不確実性を検出するためにRustエントロピーモニタを使用し、NERゲート付きスパン抽出およびセマンティック検索を通じて不確実なトークンのみをSonnetにルーティングします。ベンチマークでは、$0.21で71.4%の精度を達成し、7つのHugging FaceデータセットにおいてAnthropic Advisorパターン($0.44で62.9%)を上回り、SQuAD v2ではソースパッセージチャンクをクラウドモデルにルーティングすることで重要な改善を実現しました。
Buddy System: 階層型LLM推論のためのNERゲート付き不確実性を用いたRustエントロピーモニタ
翻訳元 English → 日本語