本文探讨了将机器学习应用于自动主题索引，以《伏尔泰全集》中的两个子语料库作为测试案例。该任务被构建为多标签分类问题，模型为文本页面分配索引条目。

  • 研究比较了带有分类头的编码器模型与通过低秩自适应（LoRA）微调的生成式大型语言模型（LLM）。
  • 模型规模从约30亿到1200亿参数不等。
  • 表现最佳的模型是4位量化配置下的Mistral系列模型，F1分数高达0.67。
  • 作者认为，由于专业索引固有的主观性，这些数字代表了下限。

这一发现对于为大规模文学和历史语料库提供结构化的主题访问具有意义。