github llama.cpp · agora mesmo · inference

llama.cpp b10730 otimiza o processamento de prompts do Qwen4exp somando cabeças do indexador por fatias

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10730, que inclui otimizações para a arquitetura do modelo Qwen4exp. A principal alteração envolve somar as cabeças do indexador por fatias em vez de usar uma operação de transposição e sum_rows, reduzindo a sobrecarga de cópia de memória.

A velocidade de processamento de prompts aumentou de 2170 para 2366 tokens por segundo em uma RTX PRO 6000 com Qwen3.8-Flash-Next UD-Q4_K_XL.
A otimização remove a exigência redundante de tensores contíguos para a consulta do indexador, já que o rope retorna um tensor contíguo recém-alocado.
A velocidade de geração permanece inalterada, mas o ganho no processamento de prompts escala com o comprimento do contexto e o tamanho do ubatch.
A saída gulosa (greedy) é inalterada token a token em comparação com versões anteriores.

Esta atualização melhora a eficiência para tarefas de inferência de longo contexto envolvendo modelos Qwen4exp, reduzindo o desperdício computacional durante a fase de processamento de prompts.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Artigos relacionados

github llama.cpp · há 9 h · 3 visualizações

llama.cpp b10727 adiciona suporte a concat para tipos quantizados

O projeto llama.cpp lançou a compilação b10727, que introduz suporte à concatenação para tipos de dados quantizados. Esta atualização é assistida pelo DeepSeek-V4-Flash-0731 e inclui binários para macOS, Linux, Windows, Android e openEuler em vários backends de hardware, incluindo CPU, CUDA, ROCm e Vulkan.

github llama.cpp · há 11 h · 6 visualizações

llama.cpp b10726 acelera o processamento de prompts de modelos IQ em grandes lotes com AVX2

O projeto llama.cpp lançou a versão b10726, que introduz otimizações significativas de desempenho para processar tamanhos de lote grandes em modelos quantizados IQ. A atualização principal aproveita as instruções AVX2 para acelerar os quants IQ de grade por meio de operações GEMM em lote.

github llama.cpp · há 13 h · 7 visualizações

llama.cpp b10723 ajusta caminhos de quantização OpenCL para GPUs Intel Xe-LP

O projeto llama.cpp lançou a versão b10723, que inclui otimizações específicas para OpenCL em hardware gráfico Intel Xe-LP. A atualização foca em melhorar o desempenho de geração de tensores (TG) e pré-preenchimento (PP) ajustando os kernels de quantização.

github llama.cpp · há 16 h · 9 visualizações

llama.cpp b10718 estende a fusão MOE para specdec e multi-token

O projeto llama.cpp lançou a versão b10718, que inclui uma atualização significativa em seu backend CUDA. A mudança mais notável é a extensão da fusão Mixture of Experts (MOE) para suportar decodificação especulativa (specdec), abordando limitações anteriores onde a fusão MOE glu e topk-router era restrita a processar apenas um token por vez.

github llama.cpp · há 18 h · 6 visualizações

Lançamento do llama.cpp b10717 melhora a recuperação de informações de memória SYCL

O projeto llama.cpp lançou a versão b10717, que inclui uma melhoria específica para o backend SYCL em GPUs Intel. Esta atualização melhora a capacidade de recuperar informações sobre a memória livre ao aproveitar a API L0 SYCL.