github llama.cpp · agora mesmo · inference

llama.cpp b10414 adiciona suporte a TQ2_0 e otimiza o kernel mul_mv

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10414, introduzindo suporte ao tipo de quantização ternária GGML_TYPE_TQ2_0 no backend Metal. Esta atualização também inclui otimizações no kernel mul_mv de tensores contíguos (cont).

Adicionado suporte a GGML_TYPE_TQ2_0 (ternário, 2 bits por elemento) ao backend Metal.
Otimizado o kernel mul_mv mudando de operações inteiras para operações de ponto flutuante.
Desempenho melhorado através de somas pré-calculadas, coeficientes elevados e carregamentos contíguos de y.

Esta versão fornece binários atualizados para macOS, Linux, Windows, Android e openEuler em vários backends de hardware incluindo CPU, CUDA, Vulkan, ROCm e SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10354 corrige máscara de afinidade de CPU no Android

O projeto llama.cpp lançou a versão b10354, que inclui uma correção para a máscara de afinidade de CPU sendo ignorada em dispositivos Android.

github llama.cpp · há 3 d · 2 visualizações

llama.cpp b10344 adiciona suporte MTP para modelos Nemotron

O projeto llama.cpp lançou a compilação b10344, que introduz o suporte à Multi-Token Prediction (MTP) especificamente para os modelos Nemotron e Nemotron Nano.

github llama.cpp · há 3 d · 1 visualização

llama.cpp adiciona arquitetura Granite-Switch com roteador no gráfico para seleção de LoRA por token

O projeto llama.cpp introduz suporte à arquitetura Granite-Switch, uma variante de modelo denso que apresenta N adaptadores LoRA embutidos, selecionados por token por meio de tokens de controle. Esta implementação substitui um índice global "pegajoso" (sticky) anterior, baseado em prova de conceito, por um mecanismo de atenção "roteador" causal no gráfico para resolver os índices dos adaptadores.

github llama.cpp · há 3 d

Lançamento do llama.cpp b10336 com refatoração do ggml-webgpu

O projeto llama.cpp lançou a versão b10336, que inclui uma refatoração de vários arquivos wgsl e simplificação do flash_attn wgsl dentro do componente ggml-webgpu.

media Hugging Face Forums · há 5 d · 9 visualizações

vLLM Launcher oferece uma bancada de trabalho para inferência local de LLM no Windows

Um novo projeto chamado vLLM Launcher foi lançado como um aplicativo de desktop para Windows projetado para gerenciar a inferência de modelos de linguagem grandes locais por meio do WSL2. Esta ferramenta permite que os usuários controlem vários backends de motores, incluindo vLLM, SGLang e llama.cpp, a partir de uma única interface gráfica.