github llama.cpp · há 1 h · inference

llama.cpp b10549 habilita divisão de tensores para LFM2/LFM2MOE

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10549, que introduz principalmente o suporte à divisão de tensores nos modelos LFM2 e LFM2MOE.

A atualização inclui binários para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x com backends CPU, Vulkan, OpenVINO e SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm) e Android.
O suporte para iOS é fornecido por meio de um XCFramework.
As compilações do openEuler estão disponíveis para as arquiteturas x86 e aarch64 usando ACL Graph.

Este lançamento fornece binários atualizados em várias plataformas para facilitar a execução dos modelos LFM2/LFM2MOE com a nova capacidade de divisão de tensores.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

vLLM v0.28.0rc2 adiciona DFlash2 Spec Decode com convolução local e seletor de candidatos

O projeto vLLM lançou a versão 0.28.0rc2, que inclui o recurso de decodificação especulativa DFlash2.

github llama.cpp · há 6 h · 2 visualizações

llama.cpp b10539 corrige estouro de Vulkan FA MMQ e adiciona suporte a CUDA 13 no Windows

O projeto llama.cpp lançou a versão b10539, que aborda um problema crítico de estabilidade numérica no backend do Vulkan enquanto expande o suporte de hardware para usuários do Windows.

github llama.cpp · há 6 h · 1 visualização

llama.cpp b10541 adiciona o argumento --mmproj-device para projetos multimodais

O projeto llama.cpp lançou a compilação b10541, introduzindo o argumento de linha de comando `--mmproj-device` para permitir que os usuários especifiquem o backend do dispositivo para carregar arquivos de projeção multimodal.

github llama.cpp · há 7 h · 1 visualização

llama.cpp b10545 corrige leituras fora dos limites no matmul do Metal para K não múltiplo de 32

O projeto llama.cpp lançou a compilação b10545, que aborda um bug crítico no kernel de multiplicação de matrizes da API de tensores do backend Metal. A atualização previne comportamento indefinido e resultados corrompidos ao processar tensores onde a dimensão K não é múltipla de 32.

github llama.cpp · há 7 h · 1 visualização

llama.cpp b10534 adiciona pontos de troca por HW CUDA para decodificação mais rápida

O projeto llama.cpp lançou a compilação b10534, que introduz pontos de troca específicos de hardware para ajustar a transição entre caminhos de vetor e núcleos de tensor durante a decodificação quantizada no CUDA.