github llama.cpp · há 2 h · inference

llama.cpp b10306 adiciona caminho plano de GLU SYCL e consolida kernels

Traduzido do English → Português (BR)

A versão b10306 do llama.cpp introduz otimizações de desempenho para o backend SYCL, focando especificamente nas operações de Unidade Linear com Gating (GLU). A atualização adiciona um caminho rápido contíguo para operações GLU fundidas e consolida kernels anteriormente distintos para compartilhar um único lançador.

Adiciona casos de teste de desempenho do SWIGLU cobrindo 17408 colunas com 512 e 2048 tokens em f16 e f32.
Consolida kernels GLU fundidos ao passar a operação como argumento, removendo as constantes SYCL_GELU_BLOCK_SIZE e SYCL_SILU_BLOCK_SIZE não utilizadas.
Implementa um despacho de kernel plano para operandos contíguos onde a matemática do índice de desintercalamento se reduz à identidade.
Alcança uma melhoria de desempenho de +14% em f16 e +4% em f32 para GLU dividido em um Arc Pro B70, com operações fundidas permanecendo inalteradas.

Essas alterações melhoram a eficiência do backend SYCL ao reduzir a duplicação de código e otimizar os padrões de acesso à memória para configurações específicas de tensores.

Importância 1/3 Confiança 1/3 llama.cpp Hardware & chips Inference efficiency

Artigos relacionados

github llama.cpp · há 3 d · 1 visualização

llama.cpp b10255 estende o SDPA do oneDNN para caches KV não-FP16

O lançamento llama.cpp b10255 estende o caminho SDPA do oneDNN para suportar caches de chave-valor (KV) não-FP16, incluindo formatos quantizados Q4_0–Q8_0 e FP32. Esta atualização permite que o kernel systolic fundido seja executado de forma idêntica ao caminho nativo FP16, desquantizando ou convertendo os tensores K/V para FP16 denso no dispositivo antes do processamento.

media r/LocalLLaMA · há 8 d · 1 visualização

Lucebox e AMD superam Nvidia DGX Spark em 3.63x no DeepSeek V4 Flash

A Lucebox se associou à AMD para demonstrar uma configuração de hardware heterogênea para consumidores que supera a Nvidia DGX Spark em velocidade de inferência. O sistema combina uma GPU AMD Radeon AI PRO R9700 com um processador Strix Halo para executar o modelo completo DeepSeek V4 Flash de 284B.

lab Hugging Face Blog · há 8 d · 2 visualizações

Gerenciamento de GPU: Por que GPUs ociosas são os novos aviões no chão

O artigo argumenta que a utilização de GPU, em vez da inteligência do modelo, tornou-se a principal restrição na IA corporativa, traçando paralelos com a utilização de aeronaves das companhias aéreas, onde os custos acumulam por hora, independentemente do uso.

lab Hugging Face Blog · há 10 d

Ai2 lança a Plataforma OlmoEarth para inferência geoespacial em escala planetária

A Ai2 lançou a Plataforma OlmoEarth, um sistema de infraestrutura projetado para levar modelos fundamentais de observação da Terra do ajuste fino até a inferência em larga escala. A plataforma aborda os desafios de engenharia do processamento de terabytes de dados multimodais de satélite entre múltiplos provedores e resoluções.

github llama.cpp · há 15 d · 2 visualizações

llama.cpp b10099 melhora a quantização NVFP4 W4A4 no CUDA

O projeto llama.cpp lançou a versão b10099, que inclui uma atualização significativa no backend do CUDA para melhorar a quantização de ativação NVFP4 W4A4.