PrismML a développé une version compressée du modèle open-source Qwen3.6 d'Alibaba, permettant au grand modèle de langage de 27 milliards de paramètres de fonctionner sur un iPhone 17 Pro. La startup a réduit la taille du modèle d'environ 54 gigaoctets à moins de 4 gigaoctets en utilisant une technique mathématique dérivée de recherches du Caltech.
- Les 27 milliards de paramètres restent tous actifs lors de l'inférence, contrairement au nouveau modèle Siri d'Apple qui n'active que 1 à 4 milliards de ses 20 milliards de paramètres.
- Le modèle compressé prend en charge des tâches complexes de chat, de raisonnement, d'agents autonomes et de codage logiciel.
- PrismML affirme que la technique de compression n'entrave pas les performances malgré la réduction significative de la taille.
- La version open-source du modèle est prévue pour la sortie mardi prochain.
Le PDG de PrismML, Babak Hassibi, prédit que cette approche changera fondamentalement l'économie de l'IA en déplaçant la vaste majorité du traitement de l'intelligence vers des appareils locaux plutôt que vers le cloud.