Seorang pengguna yang menguji antarmuka ThoughtDAG menemukan bahwa menghapus satu tepi dari grafik konteks LLM mengubah output model, bahkan ketika model sebelumnya telah mengulang klaim yang salah.

  • Dalam skenario terkontrol, sebuah node sumber awalnya menunjukkan kinerja 17% lebih buruk, yang berbalik menjadi 17% lebih baik setelah catatan yang rusak ditambahkan.
  • Dengan catatan yang terkontaminasi masih terhubung, model mengulang rekomendasi yang salah hingga tepi yang membawa cabang tersebut dihapus.
  • Menghapus tepi tersebut mengecualikan node hulu dari permintaan berikutnya tanpa menghapus pekerjaan sebelumnya, menyebabkan perubahan rekomendasi.
  • ThoughtDAG adalah proyek lokal-pertama, berlisensi MIT, yang mendukung endpoint kompatibel dengan Ollama dan OpenAI.

Penulis mencari kritik tentang desain eksperimen dan mempertanyakan apakah kontrol konteks harus tetap diarahkan oleh manusia atau diserahkan kepada sistem.