ggml-org/llama.cpp 저장소에 제출된 풀 리퀘스트는 Tencent의 Hy3 모델, 구체적으로 hy_v3 변형에 대한 지원을 도입합니다. 이 업데이트는 모델의 멀티 토큰 예측 헤드를 드래프트 MTP 추론 대상으로 사용할 수 있게 합니다.
- Tencent의 Hy3 (hy_v3 / HYV3ForCausalLM) 지원 추가. 80개의 레이어와 하나의 MTP 레이어를 가진 299B MoE 모델.
- llama.cpp 내에서 드래프트 MTP 추론 대상으로 작동하는 멀티 토큰 예측 헤드를 구현.