Specific Labsは、Gemma-4-31B-AntiHalをリリースした。これはGemma-4-31Bモデルのバリエーションであり、誤った前提に沿って幻覚を起こすのではなく、誤った前提に基づくリクエストに挑戦する。

このモデルは、生成中の残差ストリームに対して解釈可能性に基づく表現操縦を適用することでこれを達成している。

  • この手法は、減衰スケジュールを使用して、最初の約24トークンではフル強度で適用し、その後フェードアウトさせることで、層33の残差ストリームに平均差分方向を追加する。
  • HalBench反幻覚ベンチマークにおいて、AntiHalはベースモデルのスコアと比較して26%のリジェクト率を達成し、これは約2倍のパフォーマンスを表している。
  • ベンチマークのパフォーマンスはほとんど影響を受けておらず、MATH-500が77%、LiveCodeBenchが55%で、ベースモデルの能力と一致している。
  • このアプローチはQwen 3.6 27BおよびGranite 4.1 30Bでテストされたが、Gemmaのみが破綻したり非一貫性になったりすることなく効果的に操縦に抵抗した。

著者たちは、これを安全フィルターとして機能させるのではなくモデルの知識を防御する方法として位置づけており、transformersライブラリ経由で読み込み可能なオープンソースチェックポイントを提供している。