Jason Van Phamは、凍結された大規模言語モデルをその隠れ状態を通じて制御するために設計されたローカルランタイムであるNiodooをリリースしました。このプロジェクトは、推論中にノイズや「物理力」を注入してトークンループを打破することで、最後のステップのエラーを修正することを目指しています。このアプローチにより、小さなモデルはファインチューニングなしでパフォーマンスを向上させることができ、Llamaのストロベリープロンプトベンチマークなどの特定の失敗ケースを対象としています。システムは独自のテレメトリタグを生成し、TDA分析を使用して内部モデル状態のループ動作を監視します。Van Phamはこのツールを数か月の自己主導研究とレッドチームングを通じて有機的に開発し、固定ハッシュからの再現可能な結果を強調しています。コードはGitHubのリポジトリRuffian-L/niodoo-hidden-state-steeringで利用可能です。