Авторы предлагают ReM-MoA, фреймворк Mixture-of-Agents с дополненной памятью, предназначенный для поддержания прироста производительности по мере увеличения глубины модели, решая проблемы деградации и насыщения, обнаруженные в существующих вариантах. Система использует Ранжированную Память Рассуждений (Ranked Reasoning Memory) и схему маршрутизации Curated Diversified Memory Routing для сохранения разнообразия исследования при распространении высококачественных трасс рассуждений через слои.
- ReM-MoA использует Ранжированную Память Рассуждений, которая постоянно хранит и ранжирует трассы рассуждений из всех слоев с помощью сравнительного Агента-Рецензента (Reviewer Agent).
- Схема маршрутизации Curated Diversified Memory Routing предоставляет различным агентам доступ к разным комбинациям успешных и неудачных трасс для поддержания разнообразия исследования.
- Опциональный пайплайн дистилляции многодоменного Рецензента улучшает качество ранжирования через супервизию от передовых моделей (frontier-model supervision).
- Фреймворк стабильно превосходит предыдущие варианты MoA на пяти бенчмарках рассуждений, охватывающих математику, формальную логику, код, знания и здравый смысл.
- Преимущество в производительности увеличивается с ростом глубины, устанавливая структурированную кросс-слойную память рассуждений как ключевой механизм для масштабируемого многоагентного вывода.
Авторы считают это важным, поскольку это устанавливает структурированную кросс-слойную память рассуждений как критически недостающий компонент для достижения масштабируемого многоагентного вывода, позволяя производительности улучшаться, а не деградировать по мере увеличения глубины систем.