github llama.cpp · há 1 h · inference

llama.cpp b10790 ajusta a transição de MMVQ para MMQ para SM87

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10790, que inclui um ajuste específico da transição de MMVQ para MMQ para SM87.

Esta atualização fornece binários pré-compilados em várias plataformas e configurações de hardware. As compilações disponíveis incluem macOS Apple Silicon e Intel, Linux (Ubuntu) com suporte a CPU, Vulkan, ROCm 10.0, OpenVINO e SYCL, bem como compilações para Windows com suporte a CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL e ROCm 10.0. Lançamentos adicionais cobrem Android arm64, iOS XCFramework e as arquiteturas openEuler x86/aarch64.

O lançamento também inclui o pacote de interface do usuário padrão do llama.cpp para todos os sistemas operacionais suportados.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

IFM lança K2-Horizon-MoVA-36B-A4B, um modelo MoE esparso com 4B de parâmetros ativos

A IFM lançou o checkpoint final para o K2-Horizon-MoVA-36B-A4B, um modelo Mixture-of-Experts que apresenta atenção Mixture-of-Values, armazena 36B de parâmetros mas executa apenas 4B por token. O lançamento inclui formatos GGUF e links para variantes menores da família K2-Horizon.

github llama.cpp · há 8 h · 1 visualização

llama.cpp adiciona suporte a flash attention esparsa para pré-carregamento no Metal

O projeto llama.cpp introduziu suporte ao flash attention (FA) esparsa para o backend Metal, direcionado especificamente à fase de pré-carregamento da inferência do modelo. Esta atualização inclui um novo kernel que compacta entradas de máscara finita em listas de índices por linha e estende o kernel FA vetorial com coleta opcional de índices esparsos.

github llama.cpp · há 9 h · 2 visualizações

llama.cpp b10782 corrige otimização de gráficos CUDA para múltiplas GPUs

O projeto llama.cpp lançou a compilação b10782, que aborda um problema crítico no backend CUDA para configurações com múltiplas GPUs. A atualização permite streams concorrentes por divisão e habilita a otimização de gráficos CUDA para funcionar corretamente em vários dispositivos.

github llama.cpp · há 10 h · 1 visualização

llama.cpp b10780 aprimora a API do SYCL para suportar cópia peer-to-peer

O projeto llama.cpp lançou a versão b10780, que inclui uma melhoria específica no backend do SYCL. Esta atualização modifica a API para habilitar capacidades de cópia peer-to-peer para dispositivos SYCL.

github llama.cpp · há 11 h · 2 visualizações

llama.cpp b10781 corrige o engajamento do caminho de desquantização FA do Vulkan

O projeto llama.cpp lançou a compilação b10781, que inclui uma correção para o caminho de desquantização da atenção rápida (FA) do Vulkan. A atualização resolve um problema em que o shader verificava incorretamente `nb[3]` mesmo quando `ne[3] == 1`, fazendo com que o caminho só fosse ativado quando o cache estivesse cheio.