PrismML은 알리바바의 오픈소스 Qwen3.6 모델의 압축 버전을 개발하여, 270억 파라미터 대규모 언어 모델을 iPhone 17 Pro에서 실행할 수 있게 했습니다. 이 스타트업은 캘리포니아 공과대학(Caltech) 연구에서 유래한 수학적 기법을 사용하여 모델 크기를 약 54기가바이트에서 4기가바이트 미만으로 줄였습니다.
- Apple의 새로운 Siri 모델이 200억 파라미터 중 10억~40억 파라미터만 활성화하는 것과 달리, 모든 270억 파라미터가 추론 동안 활성 상태를 유지합니다.
- 압축된 모델은 복잡한 채팅, 추론, 자율 에이전트 및 소프트웨어 코딩 작업을 지원합니다.
- PrismML은 상당한 크기 축소에도 불구하고 이 압축 기술이 성능을 저해하지 않는다고 주장합니다.
- 이 오픈소스 모델은 다음 화요일에 출시될 예정입니다.
PrismML CEO Babak Hassibi는 이 접근 방식이 지능 처리의 대부분을 클라우드에서 로컬 장치로 전환함으로써 AI 경제를 근본적으로 바꿀 것이라고 예측했습니다.