O projeto llama.cpp lançou a versão b10435, que aborda um problema de desempenho dentro do mecanismo de modelos Jinja. A principal alteração corrige um bug de complexidade de tempo quadrática na função `gather_string_parts`.
O projeto llama.cpp lançou a compilação b10434, que adiciona suporte para passar o parâmetro `reasoning_effort` para os templates Jinja. Esta alteração garante que os valores de `reasoning_effort` do OpenAI Chat Completions sejam armazenados e disponibilizados durante a geração.
O projeto llama.cpp lançou a versão b10431, que introduz suporte para rollback de estado recorrente (RS) na operação ggml_ssm_scan. Esta alteração permite o rollback de RS para modelos Nemotron nos backends de CPU e CUDA.
O projeto llama.cpp lançou a versão b10429, que modifica o servidor para permitir o acesso aos endpoints /metrics e /slots enquanto llama_decode() está em execução.
O projeto llama.cpp lançou a versão b10430, que introduz suporte para dispositivos de GPU integrada (igpu) virtuais. Esta atualização também inclui comentários melhorados na base de código.
O projeto llama.cpp lançou a versão b10427, que inclui uma otimização de desempenho para GPUs Intel Arc via SYCL. A atualização implementa a fusão das operações gate, up e GLU dentro da camada feed-forward densa (FFN) q4_K.
O projeto llama.cpp lançou a versão b10425, que inclui uma porta da otimização SYCL para fundir a cópia de gravação de estado gated-delta-net.
O projeto llama.cpp lançou a versão b10418, introduzindo suporte à memória fixa do host para melhorar o acesso à memória do Host para Dispositivo no SYCL. Esta atualização aborda problemas de segurança de threads na implementação do backend.
O projeto llama.cpp mesclou atualizações significativas em seu backend OpenVINO, principalmente habilitando o suporte à família de modelos Qwen3.5 e introduzindo várias técnicas de otimização de memória.
O projeto llama.cpp lançou a compilação b10416, abordando um problema de cache no site llama.app onde o arquivo index.html estava fixado em compilações antigas devido a cabeçalhos imutáveis.
O projeto llama.cpp lançou a versão b10413, que introduz a detecção automática do tipo de especificação de decodificação especulativa diretamente dos metadados do modelo GGUF de rascunho.
O projeto llama.cpp lançou a compilação b10414, introduzindo suporte ao tipo de quantização ternária GGML_TYPE_TQ2_0 no backend Metal. Esta atualização também inclui otimizações no kernel mul_mv de tensores contíguos (cont).
O projeto llama.cpp lançou a versão b10412, que introduz suporte à amostragem de backend tanto para os backends dflash quanto dspark. Esta atualização também permite valores p_min maiores que 0 dentro da lógica de amostragem de backend e adiciona as salvaguardas correspondentes.
O projeto llama.cpp lançou a versão b10410, que inclui uma alteração de código para o backend SYCL. Esta atualização remove a promoção de tipo fp32 separada no caminho GEMM non-oneDNN e em vez disso usa promoção automática fp16.
O projeto llama.cpp lançou a versão b10408, que introduz um kernel DMMV Q3_K ESIMD para GPUs Intel. Este lançamento também inclui novos kernels ESIMD Q4_K e Q6_K e refatora a base de código para permitir o controle do ESIMD em tempo de execução em vez de em tempo de compilação.
O projeto llama.cpp lançou a compilação b10369, introduzindo suporte para o modelo de texto-para-fala pocket-tts. Esta atualização inclui uma nova implementação de convoluções transpostas usando GEMM e col2im para otimizar o desempenho.
O lançamento do llama.cpp b10361 aborda um bug crítico em que a Atenção de Janela Deslizante (SWA) não estava habilitada para o modelo LGAI-EXAONE 4.5 devido à ordem incorreta dos parâmetros durante o carregamento.
O projeto llama.cpp lançou a versão b10356, que tem como foco principal a infraestrutura de compilação, alterando o backend ROCm da versão 7.2.1 para 7.14. Esta atualização está alinhada com o ROCm 7.14 sendo o primeiro lançamento de produção utilizando o sistema de compilação TheRock e envolve a migração dos trabalhos de CI para usar wheels multi-arquitetura tanto para Linux quanto para Windows.
O projeto llama.cpp lançou a versão b10355, introduzindo suporte para amostragem de backend com saída múltipla. Esta atualização permite combinar a amostragem de backend com a especulação de tokens e adiciona um parâmetro de contexto numérico para declarar o máximo de saídas por sequência.
O projeto llama.cpp lançou a compilação b10353, que aborda um bug crítico na operação ggml_roll nos backends CUDA e Metal. Anteriormente, tensores fonte permutados (não contíguos) produziam resultados incorretos silenciosamente porque esses backends ignoravam as informações de stride.