Cactus telah melakukan post-training pada model Gemma 4 E2B untuk menghasilkan skor kepercayaan antara 0 dan 1 untuk setiap respons, memungkinkan pengembang mengarahkan kueri yang tidak pasti ke model cloud yang lebih besar. Tim mencapai hal ini dengan menambahkan lapisan probe ringan berukuran 68k parameter yang membaca keadaan tersembunyi perantara selama decoding untuk memprediksi probabilitas kesalahan.

  • Probe menghasilkan rata-rata AUROC sebesar 0.814 di 12 benchmark hold-out, secara signifikan mengungguli heuristik entropi token yang hanya mencapai skor 0.549.
  • Dengan mengarahkan hanya 15-35% kueri ke Gemini 3.1 Flash-Lite, sistem hibrida ini mencocokkan kinerja model tersebut pada sebagian besar benchmark sambil mengurangi biaya.
  • Teknik ini mengekstrak sinyal kebenaran yang independen dari modalitas, memungkinkan probe berkinerja baik pada benchmark audio meskipun dilatih dengan nol data audio.
  • Bobot tersedia di HuggingFace dengan kode yang disediakan untuk Transformers, MLX, Llama.cpp, dan Cactus, di bawah lisensi MIT.

Pendekatan ini memungkinkan pengembang menyeimbangkan privasi dan kecepatan dengan akurasi dengan menerima jawaban on-device ketika kepercayaan tinggi dan mengalihkan ke cloud ketika rendah.