github llama.cpp · há 1 d · inference

llama.cpp b10693 adiciona descoberta de dispositivo Hexagon NPU e suporte a sessões sob demanda

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10693, que introduz suporte para NPUs Qualcomm Hexagon. Esta atualização permite a descoberta em tempo de execução dos núcleos NPU disponíveis e possibilita a criação de sessões de inferência sob demanda.

Adicionadas interfaces de alocação e limpeza preguiçosa de sessões para dispositivos Hexagon.
Implementada a descoberta em tempo de execução dos núcleos NPU disponíveis.
Configurado o rejeição antecipada de dispositivos inexistentes durante a inicialização.
Fornecidos binários para macOS, Linux, Windows, Android e openEuler através dos backends CPU, Vulkan, ROCm, OpenVINO, SYCL e CUDA.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10721 corrige falha no WebGPU e adiciona suporte a CUDA 13.4 no Windows

O projeto llama.cpp lançou a compilação b10721, que inclui uma correção crítica para o backend do WebGPU e amplia o suporte de hardware no Windows.

github llama.cpp · há 2 h

llama.cpp b10718 estende a fusão MOE para specdec e multi-token

O projeto llama.cpp lançou a versão b10718, que inclui uma atualização significativa em seu backend CUDA. A mudança mais notável é a extensão da fusão Mixture of Experts (MOE) para suportar decodificação especulativa (specdec), abordando limitações anteriores onde a fusão MOE glu e topk-router era restrita a processar apenas um token por vez.

github llama.cpp · há 4 h · 3 visualizações

llama.cpp b10721 corrige falha no WebGPU e adiciona suporte a CUDA 13.4 no Windows

llama.cpp b10718 estende a fusão MOE para specdec e multi-token

Lançamento do llama.cpp b10717 melhora a recuperação de informações de memória SYCL

llama.cpp b10715 funde o codificador DFlash na injeção de cache KV

pipecat-ai lança phonellm-alpha-1 com desempenho GPT 5.6 Terra