github llama.cpp · há 2 h · inference

particionamento paralelo por cabeçote do flash_attn no hexagon melhora a escalabilidade multicore com divisão de linhas

Traduzido do English → Português (BR)

O backend hexagon atualiza o flash attention para usar particionamento paralelo por cabeçote na execução multicore com divisão de linhas, corrigindo uma limitação anterior em que os núcleos liam todo o cache KV. Ao particionar pelos cabeçotes KV quando divisível pelo número de núcleos, cada núcleo lê apenas sua fatia específica do cache KV, restaurando os benefícios da largura de banda de memória.

A velocidade de inferência do Qwen3-0.6B aumenta de 6977 para 11026 tokens/s (+58%) com divisão de linhas em 4 núcleos.
O desempenho do llama-3.2-3B sobe de 3717 para 5522 tokens/s (+49%).
O Qwen3.5-4B apresenta um ganho menor de 4%, enquanto o Gemma-4 MoE não mostra mudança devido à dominância do FFN MoE.
O recurso é controlado por GGML_HEXAGON_FA_HEAD_SPLIT e recua para divisão em blocos de tokens quando as contagens de cabeçotes não são divisíveis pelo número de núcleos.

Esta otimização acelera significativamente a taxa de preenchimento inicial (prefill) para configurações específicas de modelos no hardware Hexagon.

Importância 1/3 Confiança 1/3 llama.cpp Hardware & chips Inference efficiency

Artigos relacionados

github llama.cpp · há 13 h · 15 visualizações

Metal adiciona kernels de multiplicação matricial em poucos registros para acelerar a decodificação especulativa

O backend Metal introduz novos kernels de multiplicação matricial para 2 a 16 linhas de origem, permitindo uma decodificação especulativa mais rápida em dispositivos Apple Silicon que não possuem a API tensor. Esses kernels desquantizam os pesos uma vez e dividem as dimensões K entre threadgroups, oferecendo ganhos de desempenho significativos em relação às abordagens mat-vec anteriores.

github llama.cpp · há 2 d · 20 visualizações

llama.cpp b11382 adiciona suporte f16 ao fill/set_rows do WebGPU

O projeto llama.cpp lançou a compilação b11382, que inclui uma atualização importante para seu backend do WebGPU. Este lançamento adiciona suporte de ponto flutuante de 16 bits (f16) especificamente para as operações `fill` e `set_rows` dentro da implementação do WebGPU.

github llama.cpp · há 3 d · 31 visualizações

llama.cpp b11370 funde especialistas compartilhados no MMVQ

O projeto llama.cpp lançou a compilação b11370, que inclui uma otimização de CUDA para fundir especialistas compartilhados na arquitetura Mixture of MoE com Quantização Vetorial (MMVQ). Esta alteração faz parte do pull request #29184 e também aborda verificações nulas de buffers e manipulação de argumentos para stride_col_dst.

github llama.cpp · há 4 d · 31 visualizações

llama.cpp b11335 roteia sm70 para a tabela Turing MMVQ para desempenho no Volta

O projeto llama.cpp lançou a versão b11335, que inclui uma otimização CUDA para GPUs Volta. A atualização direciona a arquitetura sm_70 para a tabela nwarps existente do Turing MMVQ em vez de cair na configuração genérica.

media Hugging Face Forums · há 5 d · 23 visualizações

ThermaCompute AI lança CrashLens para triagem local de logs de falha de GPU

A ThermaCompute AI lançou o CrashLens, uma ferramenta gratuita e local projetada para ajudar engenheiros a investigar falhas de GPU analisando arquivos de log. A ferramenta identifica padrões de falha conhecidos dentro dos logs e sugere etapas específicas para investigação.