وجد مستخدم يختبر واجهة ThoughtDAG أن إزالة حافة واحدة من رسم بياني للسياق الخاص بـ LLM غيّر مخرجات النموذج، حتى عندما كان النموذج قد كرر سابقاً ادعاءً خاطئاً.

  • في سيناريو خاضع للرقابة، أظهرت عقدة المصدر أداءً أسوأ بنسبة 17% في البداية، ثم انقلب الأمر ليصبح أفضل بنسبة 17% بعد إضافة ملاحظة تالفة.
  • مع بقاء الملوثة متصلة، كرر النموذج التوصية الخاطئة حتى تم إزالة الحافة التي تحمل هذا الفرع.
  • أدى إزالة الحافة إلى استبعاد العقدة الأصلية من الطلب التالي دون حذف العمل السابق، مما تسبب في تغيير التوصية.
  • ThoughtDAG هو مشروع محلي أولاً ومرخص بموجب رخصة MIT يدعم نقاط النهاية المتوافقة مع Ollama و OpenAI.

يسعى المؤلف للحصول على انتقادات حول تصميم التجربة ويتساءل عما إذا كان التحكم في السياق يجب أن يبقى موجهاً من قبل الإنسان أم يُفوض إلى النظام.