llama.cpp가 PR 25395를 통해 Hy3 모델 지원 추가

새로 출시된 Hy3 모델에 대한 지원을 추가하기 위한 풀 리퀘스트가 llama.cpp에 병합되었습니다. 이를 통해 사용자는 GGUF 형식을 사용하여 해당 모델을 실행할 수 있습니다.

• 구현은 ggml-org/llama.cpp 저장소의 PR #25395에서 사용할 수 있습니다.
• 초기 테스트 결과, Zen 4 아키텍처와 96GB DDR5가 탑재된 RTX 5090에서 Q2_K 양자화된 모델이 초당 약 10~11개의 토큰 속도로 일관된 출력을 생성하는 것으로 나타났습니다.
• Hy3의 GGUF 체크포인트는 satgeze가 관리하는 Hugging Face 저장소에서 사용할 수 있습니다.

이 업데이트를 통해 사용자는 llama.cpp의 추론 엔진을 사용하여 로컬에서 Hy3 모델을 실행할 수 있게 됩니다.