github llama.cpp · há 2 h · inference

llama.cpp b10344 adiciona suporte MTP para modelos Nemotron

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10344, que introduz o suporte à Multi-Token Prediction (MTP) especificamente para os modelos Nemotron e Nemotron Nano.

Adiciona suporte MTP para o modelo Nemotron Nano.
Introduz a configuração mtp_flags para o modelo Nemotron.
Fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) e openEuler.

Esta atualização permite que os usuários aproveitem as capacidades de MTP com os modelos Nemotron em uma ampla gama de plataformas de hardware e sistemas operacionais.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp adiciona arquitetura Granite-Switch com roteador no gráfico para seleção de LoRA por token

O projeto llama.cpp introduz suporte à arquitetura Granite-Switch, uma variante de modelo denso que apresenta N adaptadores LoRA embutidos, selecionados por token por meio de tokens de controle. Esta implementação substitui um índice global "pegajoso" (sticky) anterior, baseado em prova de conceito, por um mecanismo de atenção "roteador" causal no gráfico para resolver os índices dos adaptadores.

github llama.cpp · há 10 h

Lançamento do llama.cpp b10336 com refatoração do ggml-webgpu

O projeto llama.cpp lançou a versão b10336, que inclui uma refatoração de vários arquivos wgsl e simplificação do flash_attn wgsl dentro do componente ggml-webgpu.

media Hugging Face Forums · há 2 d · 8 visualizações

vLLM Launcher oferece uma bancada de trabalho para inferência local de LLM no Windows

Um novo projeto chamado vLLM Launcher foi lançado como um aplicativo de desktop para Windows projetado para gerenciar a inferência de modelos de linguagem grandes locais por meio do WSL2. Esta ferramenta permite que os usuários controlem vários backends de motores, incluindo vLLM, SGLang e llama.cpp, a partir de uma única interface gráfica.

github llama.cpp · há 2 d · 1 visualização

llama.cpp b10330 funde rms_norm, mul e rope no CUDA

O projeto llama.cpp lançou a versão b10330, introduzindo uma otimização do CUDA que funde as operações rms_norm, multiplicação e RoPE em um único kernel. Essa mudança é acompanhada por verificações de intervalo de memória para as operações fundidas e novos casos de teste para pesos de broadcast.

github llama.cpp · há 2 d · 6 visualizações

llama.cpp b10328 adiciona isolamento inicial de ferramentas do servidor via Docker

O projeto llama.cpp lançou a compilação b10328, que introduz suporte inicial para isolar ferramentas dentro do componente do servidor usando Docker. Esta atualização inclui documentação e adaptações de código para separar as caixas de areia de E/S das ferramentas e renomear as sinalizações de configuração relevantes.