Sebuah studi menggunakan "Their Finest Hour Online Archive" dari Universitas Oxford mengevaluasi tiga pendekatan Pemrosesan Bahasa Alami—Pengenalan Entitas Bernama, Ekstraksi Kata Kunci, dan Pemodelan Topik—untuk mengotomatisasi penugasan kata kunci secara skala besar. Proyek ini menguji metode-metode tersebut di berbagai teknik mulai dari model statistik tradisional hingga jaringan saraf GenAI modern.
- Temuan kuantitatif dan kualitatif menunjukkan bahwa meskipun NLP menawarkan potensi nyata untuk ekstraksi skala besar, tidak ada satu metode pun yang memberikan solusi lengkap.
- Pemilihan model secara signifikan membentuk hasil, dengan model ekstraktif bobot terbuka muncul sebagai yang paling cocok untuk penyebaran yang bertanggung jawab.
- AI generatif memperkenalkan risiko akuntabilitas karena sifat abstraknya, memerlukan pertimbangan cermat oleh pengelola koleksi.
Para penulis berargumen bahwa ekstraksi kata kunci otomatis dalam koleksi crowdsourced menimbulkan tanggung jawab stewardship yang berbeda mengenai metadata yang berasal dari kontributor hidup, necessitating keseimbangan antara kinerja teknis dan pengawasan etis.