PrismML ha desarrollado una versión comprimida del modelo de código abierto Qwen 3.6 de Alibaba, permitiendo que el gran modelo de lenguaje con 27 mil millones de parámetros se ejecute en un iPhone 17 Pro. La startup redujo el tamaño del modelo de aproximadamente 54 gigabytes a menos de 4 gigabytes utilizando una técnica matemática derivada de investigaciones del Caltech.
- Los 27 mil millones de parámetros permanecen activos durante la inferencia, a diferencia del nuevo modelo Siri de Apple que activa solo 1 a 4 mil millones de sus 20 mil millones de parámetros.
- El modelo comprimido soporta tareas complejas de chat, razonamiento, agentes autónomos y codificación de software.
- PrismML afirma que la técnica de compresión no obstaculiza el rendimiento a pesar de la reducción significativa del tamaño.
- El modelo de código abierto está programado para su lanzamiento el próximo martes.
El CEO de PrismML, Babak Hassibi, predice que este enfoque cambiará fundamentalmente la economía de la IA al desplazar la mayor parte del procesamiento de inteligencia a dispositivos locales en lugar de la nube.