قام مشروع يستخدم الأرشيف عبر الإنترنت Their Finest Hour Online Archive التابع لجامعة أكسفورد بتقييم ثلاث طرق لمعالجة اللغات الطبيعية - التعرف على الكيانات المسماة، واستخراج الكلمات المفتاحية، ونمذجة الموضوعات - لأتمتة استخراج الكلمات المفتاحية على نطاق واسع. اختبرت الدراسة هذه الأساليب عبر مجموعة من التقنيات، بدءاً من النماذج الإحصائية التقليدية وصولاً إلى الشبكات العصبية الحديثة للذكاء الاصطناعي التوليدي.
- تشير النتائج الكمية والنوعية إلى أن معالجة اللغات الطبيعية توفر إمكانات حقيقية لتوسيع نطاق استخراج الكلمات المفتاحية في المجموعات الجماعية.
- لا تقدم طريقة واحدة حلاً كاملاً، ويشكل اختيار النموذج النتائج بشكل كبير.
- تم تحديد النماذج الاستخراجية ذات الأوزان المفتوحة على أنها الأنسب للنشر المسؤول.
- يقدم الذكاء الاصطناعي التوليدي مخاطر المساءلة بسبب طبيعته المجردة.
يجادل المؤلفون بأن استخراج الكلمات المفتاحية الآلي في المجموعات الجماعية يثير مسؤوليات رعاية مميزة فيما يتعلق بالبيانات الوصفية التي ينتجها المساهمون الأحياء.