ThoughtDAG 인터페이스를 테스트하던 사용자는 LLM의 컨텍스트 그래프에서 단일 간선을 제거하면 모델이 이전에 잘못된 주장을 반복했음에도 불구하고 모델 출력이 변경된다는 것을 발견했습니다.
- 통제된 시나리오에서 소스 노드는 초기에 17% 더 낮은 성능을 보였으나, 손상된 노트가 추가되면 17% 더 높은 성능으로 반전되었습니다.
- 오염된 노트가 여전히 연결된 상태에서 모델은 해당 분기를 운반하는 간선이 제거될 때까지 잘못된 권장 사항을 반복했습니다.
- 간선을 제거하면 이전 작업을 삭제하지 않고 다음 요청에서 상위 노드가 제외되어 권장 사항이 변경되었습니다.
- ThoughtDAG는 로컬 퍼스트이며 MIT 라이선스를 가진 프로젝트로, Ollama 및 OpenAI 호환 엔드포인트를 지원합니다.
저자는 실험 설계에 대한 비판을 구하고 있으며, 컨텍스트 제어가 인간 주도적으로 남아야 하는지 아니면 시스템에 위임해야 하는지 의문을 제기합니다.