본 기사는 Adaptive Local-First Routing and Execution Distillation이라는 접근 방식인 A.L.F.R.E.D.를 소개합니다. 이는 더 간단한 작업을 작은 모델로 라우팅하여 컴퓨팅 비용을 줄이는 것을 목표로 합니다.

  • 시스템은 큰 모델이 처리한 성공적인 쿼리의 패턴을 포착하여 데이터베이스에 저장합니다.
  • 유사한 요청이 발생하면, 시스템은 저장된 패턴을 사용하여 큰 모델을 호출하는 대신 2B 모델로 라우팅합니다.
  • 이 방법은 단순 작업에서 토큰 사용량을 약 7k에서 ~1k로 줄여 검증성을 유지하면서 속도 비용을 약 4배 절감합니다.

이 접근 방식을 통해 시스템은 추론 집약적인 작업을 큰 모델에 위임하고 반복적이거나 패턴화된 요청은 더 작고 빠른 모델로 처리할 수 있습니다.