github llama.cpp · há 1 h · inference

llama.cpp b10085 corrige o grounding do Qwen3-VL alinhando a interpolação de embeddings de posição

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10085, que inclui uma correção para a interpolação de embeddings de posição do modelo de visão Qwen3-VL para resolver inconsistências nas coordenadas de grounding.

A alteração altera o método de interpolação de bilinear+antialias padrão (align_corners=False) para align_corners=True, correspondendo à implementação de referência do transformers.
Isso corrige problemas de escala nas coordenadas de grounding que anteriormente cresciam com o tamanho da imagem e variavam por eixo para imagens não quadradas.
Binários estão disponíveis para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10069 adiciona suporte de transmissão OpenCL para Adreno MUL_MAT

O projeto llama.cpp lançou a compilação b10069, que inclui atualizações específicas do OpenCL para GPUs Qualcomm Adreno. A principal alteração envolve suportar operações de transmissão para o kernel Adreno MUL_MAT e respeitar deslocamentos de visualização para a variante Q8_0 MUL_MAT para habilitar a funcionalidade multi-stream no llama-server.

github llama.cpp · há 4 d · 1 visualização

llama.cpp b10068 rotaciona o cache K/V injetado para DFlash

O projeto llama.cpp lançou a versão b10068, que introduz uma alteração na implementação do modelo DFlash. A atualização modifica src/models/dflash.cpp para rotacionar o cache de chave/valor (K/V) injetado quando a quantização K/V é usada.

github llama.cpp · há 4 d · 1 visualização

llama.cpp b10067 exclui a tabela de roteamento do DeepSeek-V4 da quantização

O projeto llama.cpp lançou a versão b10067, que inclui uma correção para a ferramenta `llama-quantize` para lidar corretamente com os modelos DeepSeek-V4. A atualização impede que o quantizador tente converter o tensor `ffn_gate_tid2eid`, uma tabela de índice de token-to-expert i32, em um tipo float.

github llama.cpp · há 5 d

llama.cpp b10066 adiciona suporte ao kernel kernel_gemm_moe_q6_k_f32_ns via OpenCL

O projeto llama.cpp lançou a versão b10066, introduzindo suporte ao kernel `kernel_gemm_moe_q6_k_f32_ns` via OpenCL. Esta atualização permite o carregamento e uso desta biblioteca de kernels binários específica dentro do framework.

github llama.cpp · há 5 d · 5 visualizações

Lançamento do llama.cpp b10064 com otimização de transposição OpenCL

O projeto llama.cpp lançou a versão b10064, que inclui uma alteração no backend do OpenCL. Esta atualização modifica o formato de quantização q4_K transpondo as escalas noshuffle para habilitar leituras coalescidas.