github llama.cpp · agora mesmo · inference

llama.cpp b10792 corrige a geração de gramática GBNF para esquemas de objetos vazios

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10792, que inclui uma correção para a geração de gramática GBNF abordando especificamente problemas com esquemas de objetos vazios.

Esta versão fornece binários e frameworks para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Android, Windows e openEuler em vários backends de hardware incluindo CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL e OpenCL.

A atualização garante a geração correta de gramática para esquemas de objetos vazios no GBNF.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10791 adiciona otimizações de GEMV de decodificação e lm_head quantizado para OpenCL

O projeto llama.cpp lançou a versão b10791, introduzindo otimizações significativas do OpenCL para cabeças de modelos de linguagem quantizadas e operações de GEMV de decodificação. Esta atualização também inclui melhorias de GEMM em lotes médios relevantes para decodificação especulativa e previsão de múltiplos tokens.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b10790 ajusta a transição de MMVQ para MMQ para SM87

O projeto llama.cpp lançou a compilação b10790, que inclui um ajuste específico da transição de MMVQ para MMQ para SM87.

media r/LocalLLaMA · há 7 h · 1 visualização

IFM lança K2-Horizon-MoVA-36B-A4B, um modelo MoE esparso com 4B de parâmetros ativos

A IFM lançou o checkpoint final para o K2-Horizon-MoVA-36B-A4B, um modelo Mixture-of-Experts que apresenta atenção Mixture-of-Values, armazena 36B de parâmetros mas executa apenas 4B por token. O lançamento inclui formatos GGUF e links para variantes menores da família K2-Horizon.

github llama.cpp · há 9 h · 2 visualizações

llama.cpp adiciona suporte a flash attention esparsa para pré-carregamento no Metal

O projeto llama.cpp introduziu suporte ao flash attention (FA) esparsa para o backend Metal, direcionado especificamente à fase de pré-carregamento da inferência do modelo. Esta atualização inclui um novo kernel que compacta entradas de máscara finita em listas de índices por linha e estende o kernel FA vetorial com coleta opcional de índices esparsos.

github llama.cpp · há 10 h · 2 visualizações

llama.cpp b10782 corrige otimização de gráficos CUDA para múltiplas GPUs

O projeto llama.cpp lançou a compilação b10782, que aborda um problema crítico no backend CUDA para configurações com múltiplas GPUs. A atualização permite streams concorrentes por divisão e habilita a otimização de gráficos CUDA para funcionar corretamente em vários dispositivos.