github llama.cpp · há 2 h · inference

llama.cpp b10305 adiciona suporte SYCL para operações DSv4

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10305, que introduz suporte para operações específicas de DSv4 no backend SYCL. Esta atualização inclui a implementação dos operadores LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST e DSV4_HC_PRE.

Suporte adicionado para operações DSv4: LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST e DSV4_HC_PRE no backend SYCL.
Atualizações no arquivo de documentação ops.md.
Correções aplicadas a problemas de formatação na base de código.

Este lançamento fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu com CPU, Vulkan, ROCm 7.2, OpenVINO e SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e plataformas openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10307 corrige a análise de NVFP4 no SYCL

O projeto llama.cpp lançou a versão b10307, que inclui uma correção para o código GPU do SYCL para analisar corretamente os fatores de escala UE4M3 usados na quantização NVFP4.

github llama.cpp · há 2 h

llama.cpp b10306 adiciona caminho plano de GLU SYCL e consolida kernels

A versão b10306 do llama.cpp introduz otimizações de desempenho para o backend SYCL, focando especificamente nas operações de Unidade Linear com Gating (GLU). A atualização adiciona um caminho rápido contíguo para operações GLU fundidas e consolida kernels anteriormente distintos para compartilhar um único lançador.

github llama.cpp · há 16 h

llama.cpp b10298 adiciona função de salvar/carregar chunks para o módulo mtmd

O projeto llama.cpp lançou a compilação b10298, que introduz uma nova função de salvamento e carregamento de chunks para o módulo mtmd. Esta atualização também inclui limpeza de código e testes adicionais.

github llama.cpp · há 1 d · 3 visualizações

llama.cpp b10293 adiciona CI do ROCm para gfx1151 e corrige inferência no RDNA3.5

O projeto llama.cpp lançou a compilação b10293, que inclui a integração contínua da AMD ROCm para a arquitetura gfx1151 e resolve problemas de correção em GPUs integradas com RDNA3.5.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b10291 corrige o agrupamento de submissão do Vulkan e adiciona ferramentas de depuração DeviceLost

O projeto llama.cpp lançou a versão b10291, que inclui correções críticas para o backend do Vulkan junto com atualizações padrão da plataforma. As principais alterações técnicas abordam problemas de tamanho do lote de submissão e introduzem novas capacidades de diagnóstico para erros do driver.