Buddy System 使用 Rust 熵监测器来检测本地 Gemma 3 4B 推理中的逐 token 不确定性,仅通过 NER 门控跨度提取和语义检索将不确定的 token 路由到 Sonnet。基准测试显示,它以 0.21 美元的成本实现了 71.4% 的准确率,在七个 Hugging Face 数据集上优于 Anthropic Advisor 模式(0.44 美元时 62.9%),其中通过将源段落块路由到云模型,在 SQuAD v2 上取得了关键改进。
伙伴系统:用于分层LLM推理的带有NER门控不确定性的Rust熵监测器
译自 English → 中文