Apple Silicon에서의 확산 LLM(LLaDA2.1 & Sumi) 실험

한 사용자가 M1 및 M2 Ultra 장치를 위해 구축된 사용자 지정 엔진을 사용하여 Apple Silicon 하드웨어에서 확산 기반 언어 모델(dLLMs), 구체적으로 LLaDA2.1과 Sumi를 실행하는 초기 실험 결과를 보고했습니다.

• M1에서는 4.6–22.2 tok/s, M2 Ultra에서는 32.1–122.6 tok/s의 기준 처리량이 확립되었습니다.
• 기본값으로 균일한 4비트 양자화가 채택되었으며, 그 결과 모델 크기는 약 9.57 GB가 되었고 낮은 신뢰도 반전율을 달성했습니다.
• 탄성 캐시(거부), 멀티블록 언마스킹(임시 승인), S2D2를 통한 자동 추측(승인) 등 여러 최적화가 테스트되었습니다.
• TSCV 투표는 GSM8K 정확도를 6–8 퍼센트포인트 향상시켰으며 CPU 오버헤드는 없었습니다. 반면 Credit Decoding은 거의 무시할 수 있는 이득만 제공했습니다.
• 라우팅 분석은 예측보다 고유한 전문가 수가 적다는 것을 보여주었으며, 양자화 해제가 성능을 저하시키므로 양자화가 여전히 필요함이 드러났습니다.

저자는 개인 장치를 위한 기능적인 확산 엔진을 구축하고 이러한 모델이 어떻게 작동하는지에 대한 더 깊은 이해를 얻는 것을 목표로 하고 있습니다.