github llama.cpp · há 4 h · inference

Lançamento do llama.cpp b10717 melhora a recuperação de informações de memória SYCL

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10717, que inclui uma melhoria específica para o backend SYCL em GPUs Intel. Esta atualização melhora a capacidade de recuperar informações sobre a memória livre ao aproveitar a API L0 SYCL.

Melhora a recuperação de informações de memória via API L0 SYCL.
Remove código de depuração e aplica atualizações de formatação.
Atualiza a documentação SYCL.md para GGML_SYCL_GET_MEM_API.
Fornece binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

O lançamento garante uma compatibilidade de hardware mais ampla em várias plataformas, abordando especificamente as capacidades de gerenciamento de memória para usuários de GPUs Intel por meio do backend SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10718 estende a fusão MOE para specdec e multi-token

O projeto llama.cpp lançou a versão b10718, que inclui uma atualização significativa em seu backend CUDA. A mudança mais notável é a extensão da fusão Mixture of Experts (MOE) para suportar decodificação especulativa (specdec), abordando limitações anteriores onde a fusão MOE glu e topk-router era restrita a processar apenas um token por vez.

github llama.cpp · há 10 h · 3 visualizações

llama.cpp b10712 adiciona seleção radix top-k Vulkan para Qwen 3.8 Flash Next

O projeto llama.cpp lançou a compilação b10712, introduzindo um novo shader de ordenação radix top-k projetado para Vulkan para suportar valores k maiores ou iguais a 1024. Esta atualização visa especificamente o modelo Qwen 3.8 Flash Next e inclui testes correspondentes, bem como fusão top-k qsa.

github llama.cpp · há 17 h · 6 visualizações

llama.cpp b10705 melhora o tratamento de TENSOR_READ_LAZY

O projeto llama.cpp lançou a versão b10705, que inclui uma melhoria no mecanismo de tratamento de TENSOR_READ_LAZY. Esta atualização força tensores preguiçosos na CPU quando a configuração preguiçosa está habilitada.

github llama.cpp · há 18 h · 4 visualizações

llama.cpp b10702 otimiza o produto interno Q2_0 para AMD gfx1201

O projeto llama.cpp lançou a versão b10702, que inclui uma otimização específica para o caminho do produto interno da quantização Q2_0 na arquitetura gfx1201 da AMD. Esta atualização amplia a implementação do HIP para usar instruções nativas de permutação amdgcn, melhorando o desempenho para esta configuração de hardware específica.

github llama.cpp · há 1 d · 6 visualizações

llama.cpp b10691 corrige crash de null-pipeline do Metal em mul_mat F16

O projeto llama.cpp lançou a build b10691, que aborda um problema crítico de estabilidade no backend do Metal. A atualização resolve especificamente um crash de null-pipeline que ocorria durante operações de multiplicação de fontes F16.