89 GB에서 품질을 유지하는 1비트 Hy3 양자화 사용자 테스트

레딧 사용자가 iq1m 형식을 사용하여 Hugging Face에 Hy3 모델의 1비트 양자화된 버전을 업로드했습니다. 이 체크포인트의 가장 작은 변형은 크기가 약 89 GB입니다.

• 모델은 Hugging Face의 AngelSlim/Hy3-GGUF에서 사용할 수 있습니다.
• 최소 엔드에서 파일 크기 89 GB를 달성하기 위해 iq1m 압축을 사용합니다.
• 테스트는 무거운 압축에도 불구하고 양자화된 모델이 상당한 품질과 일관성을 유지함을 보여줍니다.
• 예시로는 HTML 비행 시뮬레이터 생성, 팬더와 펠리컨의 SVG, 카피바라의 이미지 생성이 포함됩니다.

이 게시물은 모델이 더 커짐에 따라 1비트 양자화가 로컬 추론을 위한 사용 가능한 성능을 유지할 수 있음을 강조합니다.