한 사용자가 Codex에게 302GB DeepSeek V4 Flash 8비트 아핀 모델용 oMLX 런타임을 최적화해 달라고 요청했으며, 그 결과 Mac Studio M3 Ultra에서 상당한 성능 향상을 달성했습니다. 이 변경으로 네이티브 DeepSeek MoE Metal 커널이 활성화되고 범용 라우팅 정렬이 버킷/카운팅 경로로 대체되었습니다.

  • 12K 프롬프트에 대한 프리필 속도 약 300 tok/s에서 약 533 tok/s로 증가.
  • 통제된 벤치마크에서 디코드 속도가 약 7.31 tok/s에서 약 20-22 tok/s로 개선.
  • 80K-120K 컨텍스트를 사용하는 실제 Hermes 실행에서는 디코드 속도가 약 19.5-20.7 tok/s 유지.
  • 이 최적화는 오버헤드를 줄이기 위해 8비트 아핀 Metal 커널 인스턴스화와 라우트 인덱싱된 디코드 커널을 추가합니다.

저자는 가중치와 양자화 형식이 변경되지 않았음을 명시하며, 변경 사항이 의미 있는 정확도 손실을 초래하지 않는지 커뮤니티의 검증을 요청하고 있습니다.