github llama.cpp · agora mesmo · inference

llama.cpp b11338 adiciona cópia DMA estrada compartilhada para CPY e CONCAT

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11338, introduzindo um mecanismo de cópia Direct Memory Access (DMA) estrada compartilhada para as operações CPY e CONCAT. Esta atualização permite CONCAT de qualquer dimensão via DMA em arquiteturas Hexagon.

Implementada cópia DMA estrada compartilhada para operações CPY e CONCAT.
Habilitado CONCAT de qualquer dimensão via DMA.
Removida a lógica CONCAT_DMA_MIN_ROW quebrada que era incompatível com DMA de 64 bits.
Adicionadas chamadas dma_queue_flush() faltantes e proteções adicionais para condições não suportadas.

Esta versão fornece binários para macOS, Linux, Windows, Android e openEuler através de backends CPU, GPU e NPU.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11335 roteia sm70 para a tabela Turing MMVQ para desempenho no Volta

O projeto llama.cpp lançou a versão b11335, que inclui uma otimização CUDA para GPUs Volta. A atualização direciona a arquitetura sm_70 para a tabela nwarps existente do Turing MMVQ em vez de cair na configuração genérica.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b11333 adiciona suporte a bfloat16 para WebGPU em operações MUL_MAT

O projeto llama.cpp lançou a compilação b11333, que introduz suporte a bfloat16 para as operações MUL_MAT, MUL_MAT_ID e GET_ROWS dentro de seu backend WebGPU.

github llama.cpp · há 1 d · 5 visualizações

llama.cpp b11309 otimiza ALLREDUCE do Hexagon com modo scatter seguro

O projeto llama.cpp lançou a versão b11309, que inclui uma otimização chave para o backend do Hexagon. Esta atualização adiciona suporte ao modo scatter seguro à operação ALLREDUCE, visando melhorar o desempenho e a estabilidade em dispositivos Qualcomm Snapdragon.

github llama.cpp · há 2 d · 9 visualizações

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 2 d · 5 visualizações

llama.cpp b11266 carrega a matriz A F32 de 2 em 2 para Vulkan na Intel

O projeto llama.cpp lançou a compilação b11266, que inclui uma otimização do Vulkan que carrega as matrizes A F32 dois elementos por vez quando estão alinhadas a 2. Essa alteração corrige problemas de desempenho no hardware da Intel, onde carregar floats um por um é ineficiente, e também corrige uma validação ausente para o alinhamento de `a_offset` no patch original.