تقيس إطار عمل تقييم جديد الانحراف بين أفكار البحث التي تولدها النماذج اللغوية الكبيرة (LLM) وتلك التي ينتجها باحثو البشر. تقوم الدراسة بهندسة عكسية للأعمال السابقة من أوراق بحثية عالية الجودة لتوجيه نماذج LLM، ثم تصف المخرجات باستخدام تصنيف ذوق بحثي ثنائي المحور يعتمد على أنماط الفرص وبارادايميات البحث.
- تتركز أفكار LLM بشكل غير متناسب حول الفرص الشبيهة بالجسور وطرق التركيب.
- تنتشر مراجع الأوراق البشرية بشكل أوسع عبر طرق صياغة الفجوات وبناء المساهمات.
- الفجوة التوزيعية متسقة عبر نماذج LLM المختلفة، مما يشير إلى تحول منهجي مقارنة بذوق البشر.
تشير النتائج إلى أنه بينما يمكن للنماذج اللغوية الكبيرة القوية إنتاج أفكار معقولة، يبقى نطاقها أضيق من نطاق باحثي البشر.