MOTHRAG mengungguli GraphRAG, HippoRAG 2, dan RAPTOR pada benchmark multi-hop

Sistem indeks padat tanpa graf bernama MOTHRAG mengungguli sistem RAG berbasis graf pada benchmark HotpotQA, 2WikiMultiHopQA, dan MuSiQue. Penulis berargumen bahwa untuk data yang sering berubah, peningkatan akurasi dari knowledge graphs diimbangi oleh biaya konstan untuk merekonstruksinya.

• Pada HotpotQA, MOTHRAG mencetak 78.1 dibandingkan dengan GraphRAG 68.6, HippoRAG 2 75.5, dan RAPTOR 69.5.
• Pada 2WikiMultiHopQA, MOTHRAG mencapai 76.3, melampaui GraphRAG (58.6), HippoRAG 2 (71.0), dan RAPTOR (52.1).
• Pada MuSiQue, MOTHRAG mencapai 50.5, mengalahkan GraphRAG (38.5), HippoRAG 2 (48.6), dan RAPTOR (28.9).
• Pembaruan hanya memerlukan embedding dan appending tanpa pelatihan ulang atau rekonstruksi, dengan biaya sekitar $0.03 per kueri pada API komersial.

Penulis menyimpulkan bahwa untuk pengambilan multi-hop atas data dinamis, pengindeksan tanpa graf dengan orkestrasi waktu kueri yang kuat menawarkan alternatif yang lebih efisien daripada overhead pemeliharaan knowledge graphs.