연구자들은 EcoSpec을 제안했습니다. 이는 비용 인식 추측적 디코딩 프레임워크로, 대규모 Mixture-of-Experts (MoE) 모델의 전문가 산란 문제를 해결하기 위해 초안 선택에 예측된 마진 전문가 활성화 비용을 통합합니다.

  • EcoSpec은 경량 전문가 예측기와 동적 전문가 버퍼를 사용하여 현재 검증 세트에서 이미 커버된 전문가를 재사용하면서도 수용 가능성을 유지하는 초안 경로를 선호합니다.
  • 이 방법은 대상 모델의 검증 규칙을 수정하지 않고 병렬 토큰 검증 동안 활성화된 전문가의 합집합을 최적화합니다.
  • 추론, 코딩, 질문 응답, 대화 벤치마크에서 DeepSeek-V3.1 (671B), Qwen3-235B-A22B, GPT-OSS-120B에 대해 평가되었습니다.
  • 활성 전문가 발자국을 일관되게 줄이고 엔드투엔드 디코딩 속도를 향상시켜 최대 1.62배의 속도 향상을 달성했습니다.

이러한 결과는 대규모 MoE 모델에서 효율적인 추측적 디코딩을 위해 전문가 활성화 비용을 고려하는 것이 중요함을 보여줍니다.