github llama.cpp · agora mesmo · inference

llama.cpp b10158 adiciona suporte para eagle3-v3 no modelo gpt-oss

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10158, que introduz suporte para a arquitetura eagle3-v3 dentro do modelo gpt-oss.

Esta atualização está disponível em várias plataformas e configurações de hardware. Os downloads incluem binários para macOS (Apple Silicon e Intel), Linux (Ubuntu com CPU, Vulkan, ROCm 7.2, OpenVINO e SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL e HIP), Android e openEuler.

O lançamento fornece binários pré-compilados para o aplicativo principal e sua interface do usuário, permitindo que os usuários executem o modelo atualizado em uma ampla variedade de sistemas sem compilar a partir do código-fonte.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10098 atualiza operações de ativação Hexagon

O projeto llama.cpp lançou a versão b10098, que inclui uma atualização nas operações de ativação Hexagon. Esta versão fornece binários para macOS, Linux, Android, Windows e openEuler em vários backends de CPU e GPU.

lab Hugging Face Blog · há 5 d · 1 visualização

Diffusers adiciona suporte nativo à inferência Nunchaku Lite de 4 bits

O Hugging Face Diffusers agora suporta o carregamento nativo de checkpoints do Nunchaku Lite por meio de `from_pretrained()`, eliminando a necessidade de um mecanismo de inferência separado ou compilação CUDA local. Essa integração utiliza o método SVDQuant para executar camadas de transformador com pesos e ativações de 4 bits (W4A4), reduzindo significativamente o uso de memória enquanto melhora a velocidade de inferência.

github llama.cpp · há 6 d · 1 visualização

llama.cpp b10089 adiciona suporte completo a k-quant e i-quant para CUDA GET_ROWS

O lançamento llama.cpp b10089 estende as operações CUDA GET_ROWS para suportar formatos de quantização k-quants, i-quants e mxfp4. Esta alteração garante que todos os tipos GGML quantizados agora podem seguir o caminho direto do dispositivo para buscas de embedding.

github llama.cpp · há 6 d

llama.cpp b10085 corrige o grounding do Qwen3-VL alinhando a interpolação de embeddings de posição

O projeto llama.cpp lançou a compilação b10085, que inclui uma correção para a interpolação de embeddings de posição do modelo de visão Qwen3-VL para resolver inconsistências nas coordenadas de grounding.

github llama.cpp · há 8 d · 2 visualizações

llama.cpp b10069 adiciona suporte de transmissão OpenCL para Adreno MUL_MAT

O projeto llama.cpp lançou a compilação b10069, que inclui atualizações específicas do OpenCL para GPUs Qualcomm Adreno. A principal alteração envolve suportar operações de transmissão para o kernel Adreno MUL_MAT e respeitar deslocamentos de visualização para a variante Q8_0 MUL_MAT para habilitar a funcionalidade multi-stream no llama-server.