Cactus 对 Gemma 4 E2B 模型进行了后训练，使其能够为每个响应生成介于 0 到 1 之间的置信度分数，使开发人员能够将不确定的查询路由到更大的云模型。团队通过添加一个轻量级的 68k 参数探针层实现了这一目标，该探针在解码过程中读取中间隐藏状态以预测错误的概率。

  • 该探针在 12 个保留基准测试中的平均 AUROC 为 0.814，显著优于得分为 0.549 的令牌熵启发式方法。
  • 通过将仅 15-35% 的查询路由到 Gemini 3.1 Flash-Lite，混合系统在大多数基准测试中达到了该模型的性能，同时降低了成本。
  • 该技术提取了与模态无关的正确性信号，使得探针即使在零音频数据训练的情况下也能在音频基准测试中表现良好。
  • 权重已发布在 HuggingFace 上，并为 Transformers、MLX、Llama.cpp 和 Cactus 提供了代码，采用 MIT 许可证。

这种方法使开发人员能够通过在高置信度时接受设备端答案并在低置信度时移交到云端，来平衡隐私、速度和准确性。