AdaSpark는 DSpark와 같은 블록 작성기의 스케줄러로, 사전 프로파일링이나 보정 없이 서비스 중 검증 너비와 수용 확률을 학습합니다. 이는 컨텍스트와 후보 수용률을 함수로 검증 시간을 맞추어, 작성된 텍스트 기반 후보들이 단일 최우선 순서로 경쟁할 수 있게 합니다.

  • 세 개의 밀집 대상과 하나의 전문가 혼합 대상이 포함된 여섯 개의 공개 데이터셋에서 AdaSpark는 동일한 작성기를 사용하여 llama.cpp의 DSpark보다 1.5-3.1배 더 빠르게 디코딩합니다.
  • AdaSpark를 적용한 imparo 엔진은 기본 3토큰 체인 실행보다 1.17-1.52배 더 빠르며, 이 향상은 스케줄러에만 기인합니다.
  • 너비 탐색 없이도 성능은 밀집 대상에서 최적 고정 트리 너비의 0.3% 이내에 머무르고 전문가 혼합 모델에서는 최적 고정 너비와 동률을 기록합니다.

이 접근 방식은 오프라인 보정이나 탐색의 필요성을 제거하면서도 표준 스케줄링 방법보다 상당한 속도 향상을 제공합니다.