Tencent-HY3가 128GB Mac에서 DeepSeek v4 Flash의 두 배 속도로 실행

한 사용자가 양자화된 GGUF 체크포인트와 llama.cpp를 사용하여 128GB 통합 메모리가 탑재된 MacBook M5 Max에서 Tencent의 295B-A21B MoE 모델인 HY3를 성공적으로 실행했습니다. 이 구성은 DeepSeek v4 Flash보다 약 두 배 빠른 토큰 생성 속도를 달성하면서도 동등하거나 더 나은 출력 품질을 유지했습니다.

• 모델은 Hugging Face 사용자 YanissAmz의 UD128 "unsloth dynamic" 3비트 양자화(107GB)를 사용합니다.
• llama.cpp에는 PR #25395를 통해 HY3의 아키텍처와 추론 디코딩 지원이 추가되었습니다.
• M5 Max에서의 벤치마크는 빈 컨텍스트에서 초당 32.4 토큰, 16K 컨텍스트에서 초당 16.3 토큰의 디코딩 속도를 보였습니다.
• 사용자는 일반 프롬프트와 기본 도구 사용에 대한 실제 성능이 이전 DeepSeek v4 설정보다 우수하다고 언급했습니다.

저자는 HY3를 고메모리 소비자용 하드웨어에서의 로컬 배포를 위한 유망한 대규모 MoE 옵션으로 강조하며, 다른 사람들에게 테스트를 권장합니다.