В статье представлен A.L.F.R.E.D., подход под названием Adaptive Local-First Routing and Execution Distillation, направленный на снижение вычислительных затрат за счет маршрутизации более простых задач к меньшим моделям.

  • Система захватывает паттерны из успешных запросов, обработанных большими моделями, и сохраняет их в базе данных.
  • При возникновении похожих запросов система маршрутизирует их к модели на 2B, используя сохраненный паттерн, вместо вызова большой модели.
  • Этот метод сокращает использование токенов примерно с 7k до ~1k для простых задач, что приводит к снижению затрат скорости примерно в 4 раза при сохранении проверки корректности.

Этот подход позволяет системам делегировать задачи, требующие рассуждений, большим моделям, а повторяющиеся или паттернизированные запросы обрабатывать меньшими и более быстрыми моделями.