Исследование, проведенное на основе «Онлайн-архива Их величайшего часа» Оксфордского университета, оценило три подхода обработки естественного языка (NLP) — распознавание именованных сущностей, извлечение ключевых слов и тематическое моделирование — для автоматизации присвоения ключевых слов в больших масштабах. В проекте эти методы тестировались на техниках, ranging от традиционных статистических моделей до современных нейронных сетей GenAI.
- Количественные и качественные результаты показывают, что, хотя NLP предлагает реальный потенциал для извлечения данных в больших масштабах, ни один метод не предоставляет полного решения.
- Выбор модели существенно влияет на результаты, при этом модели с открытым весу, основанные на извлечении, оказались наиболее подходящими для ответственного развертывания.
- Генеративный ИИ (GenAI) вносит риски подотчетности из-за своей абстрактной природы, что требует тщательного рассмотрения со стороны менеджеров коллекций.
Авторы утверждают, что автоматическое извлечение ключевых слов в краудсорсинговых коллекциях создает особые обязанности по управлению данными о метаданных, полученных от живых участников, что требует баланса между технической производительностью и этическим надзором.