A biblioteca MLX lançou a versão 0.32.1, introduzindo suporte para uma dimensão de cabeça de 72 em sua implementação de atenção completa do Metal.
A Apple introduziu uma nova arquitetura para seus modelos fundamentais de terceira geração (AFM3) que utiliza "Poda de Seguimento de Instruções" para reduzir significativamente a contagem de parâmetros ativos. O modelo é projetado para ativar aproximadamente 20% de suas camadas MLP tomando decisões de roteamento uma vez por prompt, em vez de por token.
A Apple está atualmente em discussões com a startup PrismML sobre tecnologia que comprime modelos de inteligência artificial para implantação em iPhones.
A biblioteca MLX lançou a versão 0.32.0, que aborda um bug específico no backend do Metal.
Pesquisadores apresentam o BaseRT, um runtime de inferência nativo com Metal para modelos de linguagem grande no Apple Silicon que alcança a maior taxa de inferência reportada até hoje. Ao utilizar fusão de kernels específica do chip e otimização consciente da memória unificada, ele supera a sobrecarga encontrada em frameworks existentes como llama.cpp e MLX.
Um alocador de GPU com consciência de restrições foi benchmarkado contra um agendador FIFO em sete cenários, alcançando até 33 pontos percentuais mais de utilização da GPU e até 105% mais saída ponderada por prioridade em hardware idêntico. O sistema trata a demanda de inferência em tempo real como uma curva flutuante em vez de uma reserva estática, permitindo que trabalhos do tipo batch preencham a capacidade durante os vales enquanto respeita restrições rigorosas como blocos contíguos de GPU e não-preempção.
Usamos cookies para medir o tráfego e melhorar o site. Você pode aceitar ou recusar os cookies de análise. Política de privacidade