A PrismML desenvolveu uma versão comprimida do modelo de código aberto Qwen 3.6 da Alibaba, permitindo que o grande modelo de linguagem com 27 bilhões de parâmetros seja executado em um iPhone 17 Pro. A startup reduziu o tamanho do modelo de aproximadamente 54 gigabytes para menos de 4 gigabytes usando uma técnica matemática derivada de pesquisas do Caltech.

  • Todos os 27 bilhões de parâmetros permanecem ativos durante a inferência, ao contrário do novo modelo Siri da Apple que ativa apenas 1 a 4 bilhões de seus 20 bilhões de parâmetros.
  • O modelo comprimido suporta tarefas complexas de chat, raciocínio, agentes autônomos e codificação de software.
  • A PrismML afirma que a técnica de compressão não prejudica o desempenho apesar da redução significativa do tamanho.
  • O modelo de código aberto está programado para lançamento na próxima terça-feira.

O CEO da PrismML, Babak Hassibi, prevê que essa abordagem mudará fundamentalmente a economia da IA ao deslocar a maior parte do processamento de inteligência para dispositivos locais em vez da nuvem.