Un utilisateur testant l'interface de ThoughtDAG a découvert que la suppression d'une seule arête du graphe de contexte d'un LLM modifiait la sortie du modèle, même lorsque le modèle avait précédemment répété une affirmation erronée.

  • Dans un scénario contrôlé, un nœud source affichait initialement des performances 17 % inférieures, qui se sont inversées à 17 % supérieures après l'ajout d'une note corrompue.
  • Avec la note contaminée toujours connectée, le modèle a répété la recommandation incorrecte jusqu'à ce que l'arête portant cette branche soit supprimée.
  • La suppression de l'arête a exclu le nœud amont de la prochaine requête sans supprimer le travail antérieur, ce qui a provoqué un changement de recommandation.
  • ThoughtDAG est un projet local-first sous licence MIT prenant en charge les points de terminaison compatibles Ollama et OpenAI.

L'auteur cherche des critiques sur la conception de l'expérience et s'interroge sur le fait de savoir si le contrôle du contexte doit rester dirigé par l'humain ou être délégué au système.