github llama.cpp · há 2 d · inference

llama.cpp b11227 otimiza a alternância de causal_attn para inferência visual mais rápida

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11227, que inclui otimizações de desempenho especificamente direcionadas ao manuseio da flag `causal_attn` durante o processamento multimodal.

O escalonador não reserva mais memória ao alternar `causal_attn`, eliminando passagens caras que anteriormente desaceleravam as entradas visuais para modelos como Gemma.
A forma do viés do indexador qwen4exp agora é independente de `causal_attn`, prevenindo falhas de realocação de buffer sob as restrições de `GGML_SCHED_NO_REALLOC`.
Benchmarks no llama-server com gemma-4-26B-A4B mostram reduções significativas de latência, como um aumento de velocidade de 7.61x para 24 imagens na RTX 4090 e até 3.40x na H200 com configurações de contexto grande.

Essas mudanças melhoram a velocidade de inferência para entradas de múltiplas imagens e vídeo sem alterar a saída gerada ou o comportamento de reconstrução do grafo.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b11298 adiciona suporte a dflash para conversão e extração de recursos

O projeto llama.cpp lançou a compilação b11298, que introduz suporte ao formato dflash. Esta atualização permite tanto a conversão de modelos para este formato quanto a capacidade subsequente de extração de recursos.

github llama.cpp · há 7 h · 2 visualizações

llama.cpp b11284 corrige GET_ROWS do OpenVINO em visualizações de pesos quantizados

O projeto llama.cpp lançou a compilação b11284, que inclui uma correção para o backend do OpenVINO para lidar corretamente com operações GET_ROWS em visualizações de pesos quantizados.

github llama.cpp · há 11 h · 2 visualizações

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 13 h · 2 visualizações

llama.cpp b11272 otimiza operação de concatenação Hexagon

O projeto llama.cpp lançou a compilação b11272, que inclui otimizações para o backend Hexagon. A mudança principal foca na otimização da operação de concatenação para melhorar o desempenho em hardware Qualcomm Snapdragon.

github llama.cpp · há 1 d · 7 visualizações

llama.cpp b11260 adiciona suporte para FP32 GELU_ERF e GEGLU_ERF

O projeto llama.cpp lançou a versão b11260, introduzindo suporte para as funções de ativação FP32 GELU_ERF e GEGLU_ERF no backend Hexagon. Esta atualização também inclui otimizações para reduzir a pressão de registradores nos kernels associados.