Um usuário testando a interface do ThoughtDAG descobriu que remover uma única aresta do grafo de contexto de um LLM alterava a saída do modelo, mesmo quando o modelo havia repetido anteriormente uma afirmação errada.

  • Em um cenário controlado, um nó fonte inicialmente mostrou desempenho 17% pior, que foi invertido para 17% melhor após a adição de uma nota corrompida.
  • Com a nota contaminada ainda conectada, o modelo repetiu a recomendação incorreta até que a aresta que transportava essa ramificação fosse removida.
  • Remover a aresta excluiu o nó upstream da próxima solicitação sem excluir o trabalho anterior, causando a mudança na recomendação.
  • ThoughtDAG é um projeto local-first, licenciado sob MIT, que suporta endpoints compatíveis com Ollama e OpenAI.

O autor busca críticas sobre o design do experimento e questiona se o controle de contexto deve permanecer dirigido por humanos ou ser delegado ao sistema.