github llama.cpp · há 1 h · inference

llama.cpp b10330 funde rms_norm, mul e rope no CUDA

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10330, introduzindo uma otimização do CUDA que funde as operações rms_norm, multiplicação e RoPE em um único kernel. Essa mudança é acompanhada por verificações de intervalo de memória para as operações fundidas e novos casos de teste para pesos de broadcast.

CUDA: fundir rms_norm + mul + rope (+ view + set_rows)
tests: adicionar caso de peso broadcast ao rms_norm_mul_rope
CUDA: verificar intervalos de memória antes da fusão rms_norm rope
CUDA: verificar intervalos de memória na fusão set_rows do rope

O lançamento fornece binários para macOS, Linux, Windows, Android e iOS em vários backends de hardware, incluindo CPU, Vulkan, ROCm, OpenVINO, SYCL e HIP.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10328 adiciona isolamento inicial de ferramentas do servidor via Docker

O projeto llama.cpp lançou a compilação b10328, que introduz suporte inicial para isolar ferramentas dentro do componente do servidor usando Docker. Esta atualização inclui documentação e adaptações de código para separar as caixas de areia de E/S das ferramentas e renomear as sinalizações de configuração relevantes.

github llama.cpp · há 12 h · 1 visualização

llama.cpp b10328 adiciona isolamento inicial de ferramentas do servidor via Docker

llama.cpp b10327 corrige a contagem de threads/blocos no kernel de cópia quantizada

llama.cpp b10313 adiciona agendador LRU ao servidor

Lançamento do llama.cpp b10312 com correção no servidor para modelos ocupados

llama.cpp b10307 corrige a análise de NVFP4 no SYCL