ThoughtDAG インターフェースをテストしているユーザーは、LLM のコンテキストグラフから単一のエッジを削除すると、モデルが以前に誤った主張を繰り返していた場合でも、モデルの出力が変化することに気づいた。

  • 制御されたシナリオでは、ソースノードは当初17%のパフォーマンス低下を示していたが、壊れたノートが追加されると17%向上に反転した。
  • 汚染されたノートが接続されたままの場合、モデルはそのブランチを運ぶエッジが削除されるまで誤った推奨事項を繰り返した。
  • エッジを削除すると、以前の作業を削除せずに次のリクエストから上位ノードが除外され、推奨事項が変更された。
  • ThoughtDAG はローカルファーストでMITライセンスのプロジェクトであり、Ollama および OpenAI 互換エンドポイントをサポートしている。

著者は実験設計に関する批評を求め、コンテキスト制御は人間主導のままにするべきか、システムに委譲すべきかを問いかけている。