Sebuah proyek yang menggunakan "Their Finest Hour Online Archive" dari Universitas Oxford mengevaluasi tiga pendekatan Pemrosesan Bahasa Alami (NLP)—Pengenalan Entitas Bernama, Ekstraksi Kata Kunci, dan Pemodelan Topik—untuk mengotomatisasi ekstraksi kata kunci secara skala besar. Studi ini menguji metode-metode tersebut di berbagai teknik mulai dari model statistik tradisional hingga jaringan saraf AI generatif modern.
- Temuan kuantitatif dan kualitatif menunjukkan bahwa pendekatan NLP menawarkan potensi nyata untuk ekstraksi kata kunci dalam koleksi crowdsourced, meskipun tidak ada satu metode pun yang memberikan solusi lengkap.
- Pilihan model ditemukan secara signifikan membentuk hasil proses ekstraksi.
- Model ekstraktif berbobot terbuka muncul sebagai yang paling cocok untuk penerapan bertanggung jawab dibandingkan dengan AI generatif.
Para penulis berargumen bahwa ekstraksi kata kunci otomatis menimbulkan tanggung jawab pengelolaan yang berbeda karena metadata adalah produk langsung dari keterlibatan dengan kontributor hidup. Mereka memperingatkan bahwa meskipun AI generatif memiliki potensi abstraktif, hal ini memperkenalkan risiko akuntabilitas yang harus ditimbang dengan hati-hati oleh para manajer.