MOTHRAG supera GraphRAG, HippoRAG 2 e RAPTOR em benchmarks de múltiplos saltos

Um sistema de indexação denso sem grafos chamado MOTHRAG superou sistemas RAG baseados em grafos nos benchmarks HotpotQA, 2WikiMultiHopQA e MuSiQue. Os autores argumentam que para dados que mudam frequentemente, os ganhos de precisão dos grafos de conhecimento são superados pelo custo constante de reconstruí-los.

• No HotpotQA, MOTHRAG marcou 78.1 contra 68.6 do GraphRAG, 75.5 do HippoRAG 2 e 69.5 do RAPTOR.
• No 2WikiMultiHopQA, MOTHRAG alcançou 76.3, superando GraphRAG (58.6), HippoRAG 2 (71.0) e RAPTOR (52.1).
• No MuSiQue, MOTHRAG atingiu 50.5, vencendo GraphRAG (38.5), HippoRAG 2 (48.6) e RAPTOR (28.9).
• Atualizações requerem apenas incorporação e anexação sem retreinamento ou reconstrução, custando aproximadamente $0.03 por consulta em APIs comerciais.

Os autores concluem que para recuperação de múltiplos saltos sobre dados dinâmicos, a indexação sem grafos com forte orquestração no momento da consulta oferece uma alternativa mais eficiente à sobrecarga de manter grafos de conhecimento.