github llama.cpp · há 2 h · inference

llama.cpp b10728 adiciona flash attention com XOR swizzle CUDA e corrige corrida de memória compartilhada

Traduzido do English → Português (BR)

A versão llama.cpp b10728 introduz uma implementação CUDA do XOR swizzle para os tiles fp16 K,V de memória compartilhada do Flash Attention. Esta atualização também resolve uma condição de corrida na memória compartilhada do Flash Attention em hardware DGX Spark.

Implementa flash attention com XOR swizzle e tiles fp16 para CUDA.
Corrige o uso de um ponteiro genérico de 64 bits em vez de um ponteiro compartilhado de 32 bits.
Adiciona casos de teste para swizzle e limita a sincronização apenas ao caminho swizzled.
Permite swizzling para formas que não são potências de 2 onde nbatch_2%32==0.
Refatora a lógica ldmatrix do swizzle do Flash Attention em funções auxiliares.

A versão fornece binários para macOS, Linux, Windows, Android e openEuler através dos backends CPU, CUDA, Vulkan, ROCm, OpenVINO e SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

Microsoft lança GigaPath-Flash e GigaTIME-Flash para modelos de fundação de patologia eficientes

A Microsoft Research lançou o GigaPath-Flash e o GigaTIME-Flash, variantes eficientes de seus modelos de fundação de patologia projetados para permitir descobertas em escala populacional ao reduzir drasticamente os requisitos computacionais.

github llama.cpp · há 3 h · 3 visualizações

llama.cpp b10727 adiciona suporte a concat para tipos quantizados

O projeto llama.cpp lançou a compilação b10727, que introduz suporte à concatenação para tipos de dados quantizados. Esta atualização é assistida pelo DeepSeek-V4-Flash-0731 e inclui binários para macOS, Linux, Windows, Android e openEuler em vários backends de hardware, incluindo CPU, CUDA, ROCm e Vulkan.

github llama.cpp · há 5 h · 6 visualizações

llama.cpp b10726 acelera o processamento de prompts de modelos IQ em grandes lotes com AVX2

O projeto llama.cpp lançou a versão b10726, que introduz otimizações significativas de desempenho para processar tamanhos de lote grandes em modelos quantizados IQ. A atualização principal aproveita as instruções AVX2 para acelerar os quants IQ de grade por meio de operações GEMM em lote.

github llama.cpp · há 6 h · 2 visualizações

llama.cpp b10724 otimiza a restauração do estado kv-cache para reduzir cópias de 1.3M para 224

O projeto llama.cpp lançou a compilação b10724, que melhora significativamente o desempenho da restauração de células KV cache não contíguas agrupando leituras scatter por execução contínua.

github llama.cpp · há 7 h · 5 visualizações

llama.cpp b10723 ajusta caminhos de quantização OpenCL para GPUs Intel Xe-LP

O projeto llama.cpp lançou a versão b10723, que inclui otimizações específicas para OpenCL em hardware gráfico Intel Xe-LP. A atualização foca em melhorar o desempenho de geração de tensores (TG) e pré-preenchimento (PP) ajustando os kernels de quantização.