O projeto llama.cpp lançou a versão b11120, que corrige um bug crítico no backend do Vulkan ocultando símbolos internos. Essa mudança evita problemas de destruição de estado por duplicate-dlopen que ocorriam quando os símbolos internos eram exportados.
O projeto llama.cpp lançou a compilação b11118, que inclui um novo recurso hex-dma introduzindo um cache DMA de mapeamento direto mais adequado para o tratamento de máscaras FA do Hexagon Vector eXtended (HVX).
O projeto llama.cpp adicionou suporte à decodificação especulativa DFlash com o modelo HunyuanOCR, expondo tensores de entrada das camadas no grafo alvo. Essa alteração permite que o modelo de rascunho leia os fluxos residuais, possibilitando que solicitações de imagem sejam executadas com sucesso, apresentando uma taxa de aceitação de rascunho de aproximadamente 0,5 e saída OCR idêntica em bytes em comparação às execuções não especulativas.
O projeto llama.cpp lançou a versão b11104, introduzindo um novo recurso que permite ao componente llama-server se vincular a múltiplos endereços de rede simultaneamente.
O projeto llama.cpp lançou a compilação b11102, que introduz suporte para converter modelos MiMo-V2.6.
A biblioteca Transformers do Hugging Face agora suporta o carregamento de modelos quantizados em GGUF, aproveitando os kernels ggml subjacentes para trazer o desempenho próximo ao do llama.cpp. Essa integração permite que desenvolvedores executem checkpoints quantizados diretamente na API padrão baseada em PyTorch em hardware compatível.
Jun Kim, criador e mantenedor do oMLX, juntou-se ao Hugging Face para apoiar a comunidade MLX. Este movimento visa fornecer estabilidade e desenvolvimento mais rápido para o projeto de código aberto, transicionando-o de um trabalho secundário para uma iniciativa totalmente mantida e financiada.
Um usuário está planejando construir um modelo de linguagem grande nativo em grego e sem censura para implantação local usando o checkpoint ilsp/Llama-Krikri-8B-Instruct. O plano proposto envolve ablatorar o modelo com Heretic (heretic-llm), convertê-lo para o formato GGUF Q4_K_M e executar inferência em um GMKtec EVO-X3 equipado com processador AMD Ryzen AI MAX+ 395 via Vulkan.
O projeto llama.cpp lançou a versão b11090, que inclui uma correção para um erro de compilação de tile sm_70. A atualização generaliza a forma do tile da função load_ldmatrix de 5 argumentos para resolver incompatibilidades com as arquiteturas Volta.
O projeto llama.cpp lançou a compilação b11081, que inclui várias atualizações na infraestrutura de testes `test-llama-archs`. As principais alterações envolvem tornar o desvio padrão dos dados do tensor configurável, expandir os exemplos de uso e adicionar suporte para padrões regex de arquitetura.
O projeto llama.cpp lançou a compilação b11074, que inclui uma correção para o tratamento de enums JSON. A atualização adiciona suporte a common_json_value para valores enum e simplifica o código delegando o construtor do enum ao construtor do tipo subjacente.
O projeto llama.cpp lançou a compilação b11067, que introduz uma operação de GDN + cópia fundida para o backend do WebGPU.
O projeto llama.cpp lançou a compilação b11060, que inclui uma correção para o modelo Mamba para garantir que a entrada da projeção do passo de tempo seja contígua. Esta alteração aborda problemas de layout de memória na implementação do Mamba.
O projeto llama.cpp lançou a versão b11054, que adiciona suporte ao operador TOP_K em DSPs Qualcomm Hexagon. Esta atualização inclui otimizações para processamento de linha única e correções para partição de linhas.
O projeto llama.cpp lançou a versão b11055, que introduz suporte à função de ativação GEGLU_QUICK em DSPs Hexagon.
O projeto llama.cpp lançou a versão b11053, que inclui uma melhoria específica nas mensagens de log de inicialização do servidor. Esta alteração aumenta a visibilidade sobre como os modelos são carregados, substituindo marcadores criptográficos por tags de origem explícitas.
O projeto llama.cpp lançou a compilação b11048, que introduz suporte para as novas variantes de operação HC DSV4 usadas pelo qwen4exp. Esta atualização inclui implementações específicas para hc_pre com porta sigmoide por elemento e hc_post com mistura de identidade.
A versão do Celestium CARE para NVIDIA foi concluída e disponibilizada como uma ferramenta profissional para placas de vídeo GTX e RTX. Ela utiliza NVML para fornecer recursos como limpeza de VRAM, agendamentos de auto-limpeza e monitoramento completo de telemetria.
O projeto llama.cpp lançou a versão b11046, que introduz suporte para OpenCL no kernel `flash_attn_f32_f16_bin`. Esta atualização também inclui funcionalidade de pré-preenchimento protegido para Flash Attention em dispositivos OpenCL.
O projeto llama.cpp lançou a versão b11042, que introduz um novo kernel binário OpenCL para modelos A8 Q6_K não-MoE. Esta atualização também inclui correções de compatibilidade de layout dentro do backend OpenCL.