Исследователи представляют бенчмарк для оценки того, как агенты LLM адаптируются, когда надежность доступных инструментов молча меняется во время активной сессии. Фреймворк монтирует библиотеки инструментальных навыков с избыточностью и использует разветвленное расписание для смены группы надежных инструментов на скрытых границах.

  • Агенты по умолчанию склонны оседать в небольшой повторяющейся рутине в течение нескольких шагов от каждой границы, концентрируя долю вызовов на дискретных значениях.
  • Точность смены множества оценивается как совместная вероятность маршрутизации к целевой группе инструментов в каждом окне после сдвига.
  • Тестирование LLM с открытым весом в открытом исходном агентном хэрнесе выявляет качественно различные режимы отказа в рамках одних и тех же рутин.
  • Исследование показывает, что фрейминг множества, представление инструментов как конкурирующих или дополняющих друг друга, меняет динамику маршрутизации.

Эта оценка подчеркивает конкретные режимы отказа и влияние представления инструментов на поведение агентов при столкновении со скрытыми изменениями надежности.