5ting на SemEval-2026, задача 8: сильная сквозная многошаговая RAG с LLM-ранжированием и контролем достоверности

Авторы представляют 5ting — систему, предназначенную для задачи SemEval-2026 Task 8 (MTRAGEval), которая оценивает многошаговые системы Retrieval Augmented Generation (RAG). Система решает такие проблемы, как дрейф контекста, недостаточная спецификация и риск галлюцинаций, сочетая плотный поиск с LLM-ранжированием и контролем достоверности.

• Ретривер использует плотный поиск BGE-M3 с индексацией FAISS и объединённым поиском по двум запросам.
• Сквозная система применяет LLM-ранжирование, за которым следует генерация с разделением ролей, ограниченная извлечёнными доказательствами.
• Ретривер достиг nDCG@5 0.4719 в задаче A.
• Сквозная система заняла место в задаче C со гармоническим баллом 0.5597 и RL_F 0.7692.