PrismML разработала сжатую версию открытой модели Qwen 3.6 от Alibaba, позволяющую запускать большую языковую модель на 27 миллиардов параметров на iPhone 17 Pro. Стартап уменьшил размер модели с примерно 54 гигабайт до менее чем 4 гигабайт с помощью математического метода, основанного на исследованиях Калифорнийского технологического института.
- Все 27 миллиардов параметров остаются активными во время вывода, в отличие от новой модели Siri от Apple, которая активирует только 1–4 миллиарда из своих 20 миллиардов параметров.
- Сжатая модель поддерживает сложные задачи чата, рассуждений, автономных агентов и программирования.
- PrismML утверждает, что техника сжатия не ухудшает производительность несмотря на значительное уменьшение размера.
- Открытая версия модели выйдет в следующий вторник.
Генеральный директор PrismML Бабака Хассиби прогнозирует, что этот подход фундаментально изменит экономику ИИ, переместив основную часть обработки интеллекта на локальные устройства, а не в облако.