수학 및 코딩 작업에서 vanilla 3.6-35B-a3b 변형과 비교할 때 HuiHui abliterated 모델에 적용된 사용자 지정 양자화 레시피가 우수한 성능을 보여줍니다. 결과는 거절 메커니즘을 제거함으로써 이러한 도메인에서 더 높은 정확성과 지혜를 달성할 수 있음을 시사합니다.
- HuiHui와 Vanilla 3.6-35B-a3b 모델 모두 동일한 사용자 지정 양자화가 사용되었습니다.
- 긴 추론 체인 없이 oMLX 스위트의 instruct 모드에서 벤치마크가 수행되었습니다.
- 작은 샘플 크기에도 불구하고 abliterated 모델은 수학 및 코딩 벤치마크에서 향상된 성능을 보였습니다.
연구 결과는 abliteration이 특정 기술 영역에서 모델 능력을 향상시킬 수 있음을 나타내며, HuiHui 모델은 제공된 Hugging Face 링크를 통해 다운로드할 수 있습니다.