MOTHRAG превосходит GraphRAG, HippoRAG 2 и RAPTOR на многошаговых бенчмарках

Система плотного индексирования без графов под названием MOTHRAG превзошла системы RAG на основе графов на бенчмарках HotpotQA, 2WikiMultiHopQA и MuSiQue. Авторы утверждают, что для часто изменяющихся данных выигрыш в точности от использования графов знаний перевешивается постоянной стоимостью их перестройки.

• На HotpotQA MOTHRAG набрал 78.1 против 68.6 у GraphRAG, 75.5 у HippoRAG 2 и 69.5 у RAPTOR.
• На 2WikiMultiHopQA MOTHRAG достиг результата 76.3, превзойдя GraphRAG (58.6), HippoRAG 2 (71.0) и RAPTOR (52.1).
• На MuSiQue MOTHRAG показал результат 50.5, обойдя GraphRAG (38.5), HippoRAG 2 (48.6) и RAPTOR (28.9).
• Обновления требуют только встраивания и добавления данных без переобучения или перестройки, что обходится примерно в $0.03 за запрос на стандартных API.

Авторы приходят к выводу, что для многошагового поиска по динамическим данным индексирование без графов с сильной оркестровкой на этапе запроса предлагает более эффективную альтернативу накладным расходам на поддержание графов знаний.