github llama.cpp · há 1 h · inference

Lançamento do llama.cpp b10336 com refatoração do ggml-webgpu

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10336, que inclui uma refatoração de vários arquivos wgsl e simplificação do flash_attn wgsl dentro do componente ggml-webgpu.

Esta atualização fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu com CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e plataformas openEuler.

O lançamento também inclui a compilação padrão da interface do usuário para que os usuários interajam com o mecanismo de inferência do modelo.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

vLLM Launcher oferece uma bancada de trabalho para inferência local de LLM no Windows

Um novo projeto chamado vLLM Launcher foi lançado como um aplicativo de desktop para Windows projetado para gerenciar a inferência de modelos de linguagem grandes locais por meio do WSL2. Esta ferramenta permite que os usuários controlem vários backends de motores, incluindo vLLM, SGLang e llama.cpp, a partir de uma única interface gráfica.

github llama.cpp · há 2 d · 1 visualização

llama.cpp b10330 funde rms_norm, mul e rope no CUDA

O projeto llama.cpp lançou a versão b10330, introduzindo uma otimização do CUDA que funde as operações rms_norm, multiplicação e RoPE em um único kernel. Essa mudança é acompanhada por verificações de intervalo de memória para as operações fundidas e novos casos de teste para pesos de broadcast.

github llama.cpp · há 2 d · 6 visualizações

llama.cpp b10328 adiciona isolamento inicial de ferramentas do servidor via Docker

O projeto llama.cpp lançou a compilação b10328, que introduz suporte inicial para isolar ferramentas dentro do componente do servidor usando Docker. Esta atualização inclui documentação e adaptações de código para separar as caixas de areia de E/S das ferramentas e renomear as sinalizações de configuração relevantes.

github llama.cpp · há 2 d · 5 visualizações

llama.cpp b10327 corrige a contagem de threads/blocos no kernel de cópia quantizada

O projeto llama.cpp lançou a versão b10327, que inclui uma correção para a contagem de threads e blocos nos lançamentos do kernel de cópia quantizada no CUDA. Esta atualização aborda um problema identificado no pull request #26731.

github llama.cpp · há 3 d · 7 visualizações

llama.cpp b10313 adiciona agendador LRU ao servidor

O projeto llama.cpp lançou a versão b10313, que introduz um agendador LRU (Least Recently Used) para seu componente de servidor. Esta atualização inclui tratamento de coalescência de requisições e correções para casos de streaming.