O artigo calcula quais grandes modelos de linguagem (LLMs) de código aberto cabem nos novos Macs da série Apple M5 (Mac mini, Mac Studio) ao analisar as restrições de memória em vez de executar benchmarks. Ele determina a capacidade com base nos tamanhos dos arquivos GGUF Q4_K_M, nos requisitos do cache KV e na sobrecarga de tempo de execução em relação à memória GPU utilizável.
A Apple lançou o LensVLM-9B, um Modelo de Linguagem Visual com 9 bilhões de parâmetros projetado para processar imagens de texto comprimidas de forma mais eficiente. O modelo escaneia essas entradas comprimidas e usa ferramentas aprendidas para expandir seletivamente apenas as páginas relevantes para sua forma não comprimida.
Jun Kim, criador e mantenedor do oMLX, juntou-se ao Hugging Face para apoiar a comunidade MLX. Este movimento visa fornecer estabilidade e desenvolvimento mais rápido para o projeto de código aberto, transicionando-o de um trabalho secundário para uma iniciativa totalmente mantida e financiada.