github llama.cpp · há 1 h · inference

llama.cpp adiciona ajustes fa-vec para Apple M3 Max, M5 e M5 Pro

Traduzido do English → Português (BR)

O projeto llama.cpp adicionou registros de ajuste de vetor de atenção rápida (fa-vec) para as GPUs Apple M3 Max, M5 e M5 Pro para melhorar o desempenho do Metal.

Os ajustes para a Apple M5 foram gerados em uma máquina M5 usando tipos de dados f16 e q8_0.
Os registros para a Apple M5 Pro cobrem os formatos F16, Q4_0 e Q8_0 em 20 núcleos de GPU.
O suporte para o M3 Max inclui configurações F16 e Q8_0 em um MacBook Pro com 64GB no modo de baixo consumo.

Essas atualizações estendem as capacidades de aceleração do Metal para novas arquiteturas de Apple silicon.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10665 adiciona suporte para DSpark no Nemotron3.5

O projeto llama.cpp lançou a compilação b10665, que introduz o suporte ao DSpark para o modelo Nemotron3.5.

github llama.cpp · há 17 h · 7 visualizações

llama.cpp adiciona suporte à arquitetura Qwen3.8-Flash-Next (qwen4exp)

O projeto llama.cpp adicionou suporte à arquitetura do modelo Qwen3.8-Flash-Next (qwen4exp), implementando seus componentes específicos, incluindo hiperconexões, redes delta com gateamento, Mistura de Especialistas e embeddings de hash n-gram PLE.

github llama.cpp · há 1 d · 8 visualizações

llama.cpp b10653 adiciona TENSOR_READ_LAZY para carregamento de modelos

O projeto llama.cpp lançou a compilação b10653, introduzindo o recurso TENSOR_READ_LAZY em seu carregador de modelos. Esta alteração inclui a adição da função TENSOR_GET_ROW_LAZY e uma flag correspondente --tensor-read-lazy na linha de comando.

github llama.cpp · há 1 d · 7 visualizações

llama.cpp b10655 adiciona suporte ao LIGHTNING_INDEXER para operações do Deepseek V4 no Vulkan

O projeto llama.cpp lançou a compilação b10655, que introduz suporte à operação LIGHTNING_INDEXER dentro do backend do Vulkan para habilitar as operações do Deepseek V4.

github llama.cpp · há 2 d · 6 visualizações

llama.cpp b10639 corrige a suposição do tamanho de warptile no Vulkan

O projeto llama.cpp lançou a compilação b10639, que inclui uma correção para o backend Vulkan onde as warptiles anteriormente assumiam que os tamanhos de warp eram menores ou iguais a 64. Esta alteração limita o tamanho do warp para contornar problemas com warps maiores.