github llama.cpp · há 1 d · inference

llama.cpp b10354 corrige máscara de afinidade de CPU no Android

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10354, que inclui uma correção para a máscara de afinidade de CPU sendo ignorada em dispositivos Android.

O lançamento fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL, OpenVINO) e Android (arm64).

O suporte do KleidiAI para macOS Apple Silicon permanece desativado nesta compilação.

As compilações do openEuler estão amplamente desativadas, com apenas configurações específicas de x86 e aarch64 disponíveis.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10344 adiciona suporte MTP para modelos Nemotron

O projeto llama.cpp lançou a compilação b10344, que introduz o suporte à Multi-Token Prediction (MTP) especificamente para os modelos Nemotron e Nemotron Nano.

github llama.cpp · há 2 d

llama.cpp adiciona arquitetura Granite-Switch com roteador no gráfico para seleção de LoRA por token

O projeto llama.cpp introduz suporte à arquitetura Granite-Switch, uma variante de modelo denso que apresenta N adaptadores LoRA embutidos, selecionados por token por meio de tokens de controle. Esta implementação substitui um índice global "pegajoso" (sticky) anterior, baseado em prova de conceito, por um mecanismo de atenção "roteador" causal no gráfico para resolver os índices dos adaptadores.

github llama.cpp · há 2 d

Lançamento do llama.cpp b10336 com refatoração do ggml-webgpu

O projeto llama.cpp lançou a versão b10336, que inclui uma refatoração de vários arquivos wgsl e simplificação do flash_attn wgsl dentro do componente ggml-webgpu.

media Hugging Face Forums · há 3 d · 8 visualizações

vLLM Launcher oferece uma bancada de trabalho para inferência local de LLM no Windows

Um novo projeto chamado vLLM Launcher foi lançado como um aplicativo de desktop para Windows projetado para gerenciar a inferência de modelos de linguagem grandes locais por meio do WSL2. Esta ferramenta permite que os usuários controlem vários backends de motores, incluindo vLLM, SGLang e llama.cpp, a partir de uma única interface gráfica.

github llama.cpp · há 3 d · 2 visualizações

llama.cpp b10330 funde rms_norm, mul e rope no CUDA

O projeto llama.cpp lançou a versão b10330, introduzindo uma otimização do CUDA que funde as operações rms_norm, multiplicação e RoPE em um único kernel. Essa mudança é acompanhada por verificações de intervalo de memória para as operações fundidas e novos casos de teste para pesos de broadcast.