github llama.cpp · há 1 h · inference

llama.cpp b10098 atualiza operações de ativação Hexagon

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10098, que inclui uma atualização nas operações de ativação Hexagon. Esta versão fornece binários para macOS, Linux, Android, Windows e openEuler em vários backends de CPU e GPU.

Microkernel geglu tudo-em-um otimizado (hex-geglu)
Habilitado fonte não contígua e DMA estridido para hex-geglu
Habilitado fonte não contígua e DMA estridido para o restante das operações ACT
Generalizadas funções GLU por thread via macro DEFINE_GLU_PER_THREAD
Movidos UNARY_SILU e UNARY_GELU para unary-ops
Substituído o uso genérico do scratchpad ops_context pelo cálculo local htp_vtcm_layout

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

Diffusers adiciona suporte nativo à inferência Nunchaku Lite de 4 bits

O Hugging Face Diffusers agora suporta o carregamento nativo de checkpoints do Nunchaku Lite por meio de `from_pretrained()`, eliminando a necessidade de um mecanismo de inferência separado ou compilação CUDA local. Essa integração utiliza o método SVDQuant para executar camadas de transformador com pesos e ativações de 4 bits (W4A4), reduzindo significativamente o uso de memória enquanto melhora a velocidade de inferência.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b10089 adiciona suporte completo a k-quant e i-quant para CUDA GET_ROWS

O lançamento llama.cpp b10089 estende as operações CUDA GET_ROWS para suportar formatos de quantização k-quants, i-quants e mxfp4. Esta alteração garante que todos os tipos GGML quantizados agora podem seguir o caminho direto do dispositivo para buscas de embedding.

github llama.cpp · há 2 d

llama.cpp b10085 corrige o grounding do Qwen3-VL alinhando a interpolação de embeddings de posição

O projeto llama.cpp lançou a compilação b10085, que inclui uma correção para a interpolação de embeddings de posição do modelo de visão Qwen3-VL para resolver inconsistências nas coordenadas de grounding.

github llama.cpp · há 4 d · 2 visualizações

llama.cpp b10069 adiciona suporte de transmissão OpenCL para Adreno MUL_MAT

O projeto llama.cpp lançou a compilação b10069, que inclui atualizações específicas do OpenCL para GPUs Qualcomm Adreno. A principal alteração envolve suportar operações de transmissão para o kernel Adreno MUL_MAT e respeitar deslocamentos de visualização para a variante Q8_0 MUL_MAT para habilitar a funcionalidade multi-stream no llama-server.

github llama.cpp · há 5 d · 1 visualização

llama.cpp b10068 rotaciona o cache K/V injetado para DFlash

O projeto llama.cpp lançou a versão b10068, que introduz uma alteração na implementação do modelo DFlash. A atualização modifica src/models/dflash.cpp para rotacionar o cache de chave/valor (K/V) injetado quando a quantização K/V é usada.