O projeto llama.cpp lançou a compilação b10751, que introduz um kernel fundido para a redução de especialistas ponderados do MoE (Mixture of Experts) no CUDA. Essa otimização substitui a linha de base anterior, que executava dois kernels físicos, por um único kernel de redução ponderada para reduzir o tráfego de memória global intermediário.
O projeto llama.cpp lançou a compilação b10750, que reestrutura o gerenciamento das células de chave e valor para melhorar a indexação da posição da sequência e as consultas ao histórico de n-gramas.
O projeto llama.cpp lançou a versão b10742, que inclui um novo recurso adicionando ajustes de vetor rápido (fa-vec) especificamente para o chip Apple A18 Pro encontrado no MacBook Neo.
O projeto llama.cpp lançou a versão b10739, que inclui uma otimização de desempenho específica para o hardware Apple M2 Max. Esta atualização introduz o ajuste de vetores de atenção rápida (fa-vec) adaptado aos 30 núcleos GPU do M2 Max.
A Hugging Face lançou @huggingface/kernels, uma biblioteca para carregar e executar kernels WebGPU otimizados do Hugging Face Hub, junto com uma coleção inicial de 207 kernels. O lançamento também apresenta o Fleet, um conjunto de testes de GPU no navegador que coleta evidências de desempenho e correção dos dispositivos dos usuários.
O projeto llama.cpp lançou a versão b10734, que inclui uma atualização para habilitar a API de tensores Metal 4.0 para dispositivos com chips M5+ ou A19+.
Turboderp lançou atualizações significativas para o ExLlamaV3, introduzindo capacidades de descarregamento para CPU para especialistas de Mixture of Experts (MoE). A atualização também inclui suporte para os novos modelos GLM-5.3-Flash e Qwen3.8-Flash.
O projeto llama.cpp lançou a compilação b10724, que melhora significativamente o desempenho da restauração de células KV cache não contíguas agrupando leituras scatter por execução contínua.
O projeto llama.cpp lançou a compilação b10721, que inclui uma correção crítica para o backend do WebGPU e amplia o suporte de hardware no Windows.
O projeto llama.cpp lançou a versão b10718, que inclui uma atualização significativa em seu backend CUDA. A mudança mais notável é a extensão da fusão Mixture of Experts (MOE) para suportar decodificação especulativa (specdec), abordando limitações anteriores onde a fusão MOE glu e topk-router era restrita a processar apenas um token por vez.
O projeto llama.cpp lançou a compilação b10715, que inclui uma otimização-chave na implementação do DFlash. O codificador DFlash agora é fundido diretamente no processo de injeção do cache KV durante a decodificação.
O projeto llama.cpp lançou a compilação b10714, que inclui otimizações específicas para o backend do Vulkan direcionado ao hardware AMD Strix Halo. A atualização ajusta as contagens de linhas de multiplicação de matriz por vetor para melhorar o desempenho durante a inferência em lote.
O projeto llama.cpp lançou a compilação b10706, introduzindo nova funcionalidade no backend ggml. Esta atualização inclui a adição de SWIGLU_CLAMP e uma nova implementação do shader Vulkan.
O projeto llama.cpp lançou a versão b10707, que inclui uma otimização de desempenho no tratamento do cache de chave-valor (KV). A atualização modifica a função `for_each_token_in` para parar a varredura assim que todas as sequências dentro de uma célula específica forem vistas, em vez de iterar por todas as sequências máximas possíveis.
O projeto llama.cpp lançou a compilação b10688, que inclui um pull request adicionando ajustes de vetor rápido (fa-vec) para a arquitetura M2.
O projeto llama.cpp atualizou seu backend OpenCL para melhorar o desempenho de multiplicação de matrizes em duas gerações de GPUs Adreno. As alterações visam principalmente a geração X2E, ativando por padrão o caminho GEMM xmem F16xF32 e otimizando o tratamento para a geração A7X.
O projeto llama.cpp lançou a versão b10684, que inclui uma correção específica para o backend SYCL para que a flag `--fit` respeite o `--fit-target` com mais precisão.
O projeto llama.cpp lançou a versão b10670, que inclui uma otimização específica para a arquitetura Xe2 da Intel. A atualização direciona a operação de decodificação de chave-valor (KV) quantizada exclusivamente para o backend TILE em hardware BMG, mantendo o backend VEC em outras arquiteturas até que sejam validadas.
O projeto llama.cpp lançou a versão b10669, que inclui uma otimização de desempenho para o caminho SDPA do oneDNN ao vincular o cache KV f16 no lugar.
O lançamento llama.cpp b10666 expande o conjunto de testes de salvamento/carregamento de estado para executar em todas as arquiteturas e resolve vários bugs críticos no gerenciamento de estado e manipulação de grafos. As principais alterações incluem a correção de referências pendentes no minimax-01, alinhamento da cópia de blocos para sequências no dispositivo e correção das contagens de cabeçalho do indexador para deepseek4.