github llama.cpp · há 1 h · inference

llama.cpp b11007 habilita CUDA graph para rascunho de MTP

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11007, que introduz suporte para CUDA graphs em rascunhos de Multi-Token Prediction (MTP). Esta atualização melhora a eficiência do processo de rascunho ao aproveitar a execução de CUDA graph.

Habilitar CUDA graph para o rascunho de MTP para melhorar a eficiência de uso.
Fornecer binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.
Incluir binários de UI para todas as plataformas suportadas.

Este lançamento permite que os usuários se beneficiem do desempenho de inferência otimizado em GPUs NVIDIA compatíveis por meio da nova implementação de rascunho MTP.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b11006 adiciona suporte Hexagon para K-Quants Q4_K e Q6_K

O projeto llama.cpp lançou a versão b11006, introduzindo suporte para processadores Qualcomm Hexagon para lidar com formatos de K-Quantization. Esta atualização implementa kernels específicos para os níveis de quantização Q4_K e Q6_K na arquitetura Hexagon.

github llama.cpp · há 1 d · 8 visualizações

llama.cpp b10982 adiciona suporte a Flash Attention esparso via Vulkan para DSV4/GLM

O projeto llama.cpp lançou a compilação b10982, que introduz suporte ao Flash Attention esparsivo por meio do backend Vulkan. Esta atualização direciona-se especificamente aos modelos DSV4 e GLM, permitindo que aproveitem mecanismos de atenção esparsa em hardware de GPU compatível.

github llama.cpp · há 1 d · 5 visualizações

llama.cpp b10981 corrige decode com estado para Gemma-4 e otimiza inferência de GPU MoE

O lançamento do llama.cpp b10981 aborda problemas críticos de correção no caminho de decodificação com estado do backend OpenVINO, corrigindo especificamente o suporte para modelos como Gemma-4 que usam tamanhos de cabeça por camada. Também introduz otimizações para inferência de Mixture of Experts (MoE) em GPU e melhora o desempenho por meio de relayouts do estado KV.

github llama.cpp · há 2 d · 12 visualizações

llama.cpp 0.4.1 adiciona suporte a Maple 20B-A1B, Tencent Hy 4 e Spark2.5

O projeto llama.cpp lançou a versão 0.4.1, introduzindo suporte para a arquitetura ternária Mixture of Experts do Maple 20B-A1B em CPU, bem como suporte preview para os modelos Tencent Hy 4 e Spark2.5.

github llama.cpp · há 3 d · 3 visualizações

llama.cpp b10951 move llama_n_rs_seq antes de llama_decode para evitar chamadas desnecessárias

O projeto llama.cpp lançou a versão b10951, que inclui uma otimização de código na lógica de decodificação. A chamada à função `llama_n_rs_seq` agora é executada antes do `llama_decode`, permitindo que o sistema retorne diretamente se a verificação for bem-sucedida.