한 사용자가 Juud_engine를 출시했으며, 이는 RTX 4090과 같은 소비자용 하드웨어에서 Qwen3.6-27B 모델의 로컬 추론을 위해 설계된 Strata v0.1.39의 실험적 MIT 라이선스 포크입니다. 이 프로젝트는 두 가지 선택적 CPU 측 디코드 변경 사항을 도입합니다: CPU 전문가 배치 후 워커 스핀 단축과 GPU로 완전히 라우팅된 토큰에 대한 CPU 활성화 양자화 건너뛰기.

  • i7-13700 및 RTX 4090에서의 벤치마크는 다양한 컨텍스트 길이에 걸쳐 중간 쌍 디코드 처리량 개선이 3.1–9.1%, 지연 시간 이득이 0.5–5.6%였음을 보여주었습니다.
  • 다른 캐시 설정을 사용한 별도의 제어 실행은 9.6–15.6%의 더 높은 처리량 이득을 보고했지만, 테스트 구성 간 출력 일관성이 다양했습니다.
  • 저장소에는 소스 차이점, 빌드 지침, 모델 해시 및 독립적인 복제를 위한 검증 스크립트가 포함되어 있습니다.

저자는 벤치마크 방법론에 대한 피드백을 요청하고 성능 주장을 검증하기 위한 독립적인 복제를 요청합니다.