В статье предлагается агентный маршрутизатор уровня Harness — парадигма на уровне шагов, которая выбирает модели на основе полного состояния среды выполнения (execution harness), а не оптимизирует компромиссы между стоимостью и качеством для одного запроса. Этот подход рассматривает каждое решение о маршрутизации как структурированную запись данных, формируя цикл данных уровня Harness, где трассировки выполнения обучают более совершенные маршрутизаторы и модели.
- Система реализована в OpenSquilla с использованием четырехуровневого стека маршрутизации, открытого ранжировщика LightGBM для холодного старта и поэтапного пути маршрутизатор-модель.
- Это позволяет выбирать либо одну наилучшую модель для экономичного выполнения, либо несколько взаимодополняющих моделей для повышения точности по принципу ансамбля.
- В отчете оценивается маршрутизация с одной моделью и с несколькими моделями на агентных бенчмарках, включая DRACO и PinchBench.
Авторы утверждают, что агентная маршрутизация служит двигателем данных для обучения, нативного для агентов, улучшая компромиссы между стоимостью и качеством за счет генерации большего количества трассировок в рамках того же бюджета.