قام مشروع يستخدم أرشيف "Their Finest Hour Online Archive" التابع لجامعة أكسفورد بتقييم ثلاث طرق لمعالجة اللغات الطبيعية - التعرف على الكيانات المسماة، واستخراج الكلمات الرئيسية، ونمذجة الموضوعات - لأتمتة استخراج الكلمات الرئيسية على نطاق واسع. اختبرت الدراسة هذه الأساليب عبر تقنيات تتراوح من النماذج الإحصائية التقليدية إلى الشبكات العصبية الحديثة للذكاء الاصطناعي التوليدي.
- تشير النتائج الكمية والنوعية إلى أن أساليب معالجة اللغات الطبيعية توفر إمكانات حقيقية لاستخراج الكلمات الرئيسية في المجموعات الجماعية، على الرغم من عدم وجود طريقة واحدة تقدم حلاً كاملاً.
- تبين أن اختيار النموذج يشكل بشكل كبير نتائج عملية الاستخراج.
- ظهرت النماذج الاستخراجية ذات الأوزان المفتوحة كأفضل ملاءمة للنشر المسؤول مقارنة بالذكاء الاصطناعي التوليدي.
يجادل المؤلفون بأن استخراج الكلمات الرئيسية الآلي يثير مسؤوليات إدارية مميزة لأن البيانات الوصفية هي المنتج المباشر للتفاعل مع المساهمين الأحياء. يحذرون من أن الذكاء الاصطناعي التوليدي، على الرغم من إمكاناته التجريدية، يقدم مخاطر مساءلة يجب على المديرين وزنهم بعناية.