Пользователь, тестирующий интерфейс ThoughtDAG, обнаружил, что удаление одного ребра из графа контекста LLM изменило вывод модели, даже когда модель ранее повторяла неверное утверждение.

  • В контролируемом сценарии исходный узел изначально показывал производительность на 17% хуже, которая после добавления повреждённой заметки изменилась на 17% лучше.
  • При подключённой загрязнённой заметке модель повторяла неправильную рекомендацию до тех пор, пока не было удалено ребро, несущее эту ветвь.
  • Удаление ребра исключило вышестоящий узел из следующего запроса без удаления предыдущей работы, что привело к изменению рекомендации.
  • ThoughtDAG — это проект с приоритетом локального выполнения и лицензией MIT, поддерживающий Ollama и совместимые с OpenAI конечные точки.

Автор просит критики в отношении дизайна эксперимента и задаётся вопросом, должно ли управление контекстом оставаться под контролем человека или быть делегировано системе.