github llama.cpp · há 1 h · inference

llama.cpp b10726 acelera o processamento de prompts de modelos IQ em grandes lotes com AVX2

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10726, que introduz otimizações significativas de desempenho para processar tamanhos de lote grandes em modelos quantizados IQ. A atualização principal aproveita as instruções AVX2 para acelerar os quants IQ de grade por meio de operações GEMM em lote.

Implementação de GEMM em lote para quants IQ de grade
Vetorização da decodificação de painéis IQ com um limiar reduzido para aceleração
Introdução do kernel ggml_gemm_iqp_8x8_q8_K_p4 e remoção do buffer gather
Layout de gather de fonte única, viés de gate e entrelaçamento vetorizado para painéis IQ
Adição de suporte a fallback NUMA e testes de lote de 10 linhas para cobertura IQP

Este lançamento fornece capacidades de inferência mais rápidas para usuários executando modelos IQ em hardware compatível.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10723 ajusta caminhos de quantização OpenCL para GPUs Intel Xe-LP

O projeto llama.cpp lançou a versão b10723, que inclui otimizações específicas para OpenCL em hardware gráfico Intel Xe-LP. A atualização foca em melhorar o desempenho de geração de tensores (TG) e pré-preenchimento (PP) ajustando os kernels de quantização.

github llama.cpp · há 6 h · 1 visualização

llama.cpp b10718 estende a fusão MOE para specdec e multi-token

O projeto llama.cpp lançou a versão b10718, que inclui uma atualização significativa em seu backend CUDA. A mudança mais notável é a extensão da fusão Mixture of Experts (MOE) para suportar decodificação especulativa (specdec), abordando limitações anteriores onde a fusão MOE glu e topk-router era restrita a processar apenas um token por vez.

github llama.cpp · há 8 h · 3 visualizações

Lançamento do llama.cpp b10717 melhora a recuperação de informações de memória SYCL

O projeto llama.cpp lançou a versão b10717, que inclui uma melhoria específica para o backend SYCL em GPUs Intel. Esta atualização melhora a capacidade de recuperar informações sobre a memória livre ao aproveitar a API L0 SYCL.

github llama.cpp · há 14 h · 3 visualizações

llama.cpp b10712 adiciona seleção radix top-k Vulkan para Qwen 3.8 Flash Next

O projeto llama.cpp lançou a compilação b10712, introduzindo um novo shader de ordenação radix top-k projetado para Vulkan para suportar valores k maiores ou iguais a 1024. Esta atualização visa especificamente o modelo Qwen 3.8 Flash Next e inclui testes correspondentes, bem como fusão top-k qsa.

github llama.cpp · há 21 h · 6 visualizações

llama.cpp b10705 melhora o tratamento de TENSOR_READ_LAZY

O projeto llama.cpp lançou a versão b10705, que inclui uma melhoria no mecanismo de tratamento de TENSOR_READ_LAZY. Esta atualização força tensores preguiçosos na CPU quando a configuração preguiçosa está habilitada.