JLens-GGUFという新しいツールは、llama.cpp上で動作するGGUFモデルに対して、インタラクティブなヤコビアンレンズの可視化とライブステアリング機能を追加します。Anthropicの研究に触発されたこのプロジェクトは、GGUFベースの推論エンジンにおけるギャップを埋め、ユーザーがモデルの内部状態を観察および操作できるようにします。

  • モデルの観察やj-spaceの切り替え、アブリレーション、ステアリングをサポートする、llama.cppに密接に基づいたネイティブGGUFサーバーを搭載しています。
  • 稠密型とMixture-of-Experts (MoE) の両方のGGUFフォーマットに対応しています。
  • 実行中のllama-serverモデルを観察することは可能ですが、直接ステアリングすることはできません；ステアリングにはネイティブサーバーが必要です。
  • レンズのメモリ要件はモデルサイズに比例し、モデルのフットプリントの約1/8です。

この実装により、ローカルユーザーは従来PyTorchやHugging Face環境に限定されていた高度な解釈可能性と制御機能にアクセスできるようになります。