本論文は、ボルテールの全集から抽出した2つの部分コーパスを用いて、機械学習による自動主題索引付けの適用を探求している。このタスクは、モデルがテキストページに索引エントリを割り当てるマルチラベル分類問題として枠組みづけられる。

  • 本研究は、分類ヘッド付きエンコーダーベースのモデルと、低ランク適応（LoRA）によってファインチューニングされた生成型大規模言語モデル（LLM）を比較する。
  • モデルのサイズは約30億から1200億パラメータの範囲である。
  • 最良のパフォーマンスを示したモデルは、4ビット量子化構成のMistralファミリーモデルで、F1スコアが最大0.67に達した。
  • 著者らは、これらの数値はプロフェッショナルな索引付けの本質的な主観性のため下限を表すと主張している。

この知見は、大規模な文学的・歴史的コーパスへの構造化された主題アクセスを提供する上で示唆を与える。