github llama.cpp · há 1 h · inference

llama.cpp b10089 adiciona suporte completo a k-quant e i-quant para CUDA GET_ROWS

Traduzido do English → Português (BR)

O lançamento llama.cpp b10089 estende as operações CUDA GET_ROWS para suportar formatos de quantização k-quants, i-quants e mxfp4. Esta alteração garante que todos os tipos GGML quantizados agora podem seguir o caminho direto do dispositivo para buscas de embedding.

Adiciona suporte a k-quant (q2_K a q6_K) para lidar com receitas GGUF comuns como Q4_K_M.
Estende desquantizadores super-bloco compartilhados para nove i-quants com layout de 32 threads.
Move o desquantizador mxfp4 para auxiliares compartilhados, fechando a cobertura de tipos GET_ROWS no CUDA.
Controla verificações de tamanho de linha apenas para tipos de sub-bloco de 32 valores (iq4_nl e mxfp4) para evitar fallbacks desnecessários ao host.

Ao impedir que o agendador recue para o host para esses tipos de quantização, a atualização evita copiar toda a matriz de embedding de volta em cada token em gráficos de dispositivo único.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Ler original

llama.cpp b10085 corrige o grounding do Qwen3-VL alinhando a interpolação de embeddings de posição

O projeto llama.cpp lançou a compilação b10085, que inclui uma correção para a interpolação de embeddings de posição do modelo de visão Qwen3-VL para resolver inconsistências nas coordenadas de grounding.

github llama.cpp · há 1 d

llama.cpp b10076 vetoriza get_rows com cópia int4 para aceleração de 27%

O projeto llama.cpp lançou a compilação b10076, que introduz uma otimização de desempenho no backend CUDA ao vetorizar a operação `get_rows` usando cópias int4. Essa mudança eleva o trabalho invariante à linha para fora do loop por elemento e adiciona um caminho vetorizado que copia 16 bytes por thread para dados contíguos do mesmo tipo.

github llama.cpp · há 3 d · 1 visualização

llama.cpp b10069 adiciona suporte de transmissão OpenCL para Adreno MUL_MAT

O projeto llama.cpp lançou a compilação b10069, que inclui atualizações específicas do OpenCL para GPUs Qualcomm Adreno. A principal alteração envolve suportar operações de transmissão para o kernel Adreno MUL_MAT e respeitar deslocamentos de visualização para a variante Q8_0 MUL_MAT para habilitar a funcionalidade multi-stream no llama-server.

media Hugging Face Forums · há 4 d · 2 visualizações

zhongkaifu lança o TensorSharp, um mecanismo de inferência LLM nativo para .NET voltado a modelos GGUF

zhongkaifu lançou o TensorSharp, um mecanismo de inferência local de LLM de código aberto construído inteiramente em C# que suporta Windows, macOS e Linux. O mecanismo lida com modelos GGUF do Unsloth, incluindo Gemma 4 e Qwen 3.6 com capacidades multimodais, ao mesmo tempo que fornece APIs compatíveis com OpenAI e Ollama.

github llama.cpp · há 4 d · 1 visualização

llama.cpp b10068 rotaciona o cache K/V injetado para DFlash

O projeto llama.cpp lançou a versão b10068, que introduz uma alteração na implementação do modelo DFlash. A atualização modifica src/models/dflash.cpp para rotacionar o cache de chave/valor (K/V) injetado quando a quantização K/V é usada.