研究者らは、ステークホルダーがタイムリーな情報にアクセスできるよう支援するために設計された、取得強化生成（RAG）を活用するマルチモーダル大学チャットボットを発表した。本システムは、大規模言語モデルとセマンティック検索を組み合わせて、大学ハンドブックなどの機関リソースから文脈に基づく応答を生成する。

  • ビジョン・ランゲージモデルを通じてテキストおよび画像クエリを受け付ける。
  • 制約のあるハードウェアでの迅速なデプロイメントのために量子化推論を適用する。
  • FastAPIで構築されたスケーラブルなバックエンドと、Next.jsで開発されたレスポンシブなフロントエンドを使用する。
  • 既存システムと比較してハルシネーションを31.7%から6.6%に低減する。

定量的評価は取得グラウンディングの有効性を確認しており、マルチモーダルテストでは視覚入力に対する応答時間の増加にもかかわらず、両方のクエリタイプで高い満足度スコアを示した。