github vLLM · agora mesmo · inference

vLLM v0.28.0rc2 adiciona DFlash2 Spec Decode com convolução local e seletor de candidatos

Traduzido do English → Português (BR)

O projeto vLLM lançou a versão 0.28.0rc2, que inclui o recurso de decodificação especulativa DFlash2.

DFlash2 implementa um mecanismo de convolução local para geração eficiente de tokens.
A atualização introduz um seletor de candidatos dedicado para melhorar o processo de spec decode.
Esta alteração foi cherry-picked do commit b389ac2 e assinada por khluu.

Importância 1/3 Confiança 2/3 vLLM Inference efficiency

llama.cpp b10539 corrige estouro de Vulkan FA MMQ e adiciona suporte a CUDA 13 no Windows

O projeto llama.cpp lançou a versão b10539, que aborda um problema crítico de estabilidade numérica no backend do Vulkan enquanto expande o suporte de hardware para usuários do Windows.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10541 adiciona o argumento --mmproj-device para projetos multimodais

O projeto llama.cpp lançou a compilação b10541, introduzindo o argumento de linha de comando `--mmproj-device` para permitir que os usuários especifiquem o backend do dispositivo para carregar arquivos de projeção multimodal.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10545 corrige leituras fora dos limites no matmul do Metal para K não múltiplo de 32

O projeto llama.cpp lançou a compilação b10545, que aborda um bug crítico no kernel de multiplicação de matrizes da API de tensores do backend Metal. A atualização previne comportamento indefinido e resultados corrompidos ao processar tensores onde a dimensão K não é múltipla de 32.

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10534 adiciona pontos de troca por HW CUDA para decodificação mais rápida

O projeto llama.cpp lançou a compilação b10534, que introduz pontos de troca específicos de hardware para ajustar a transição entre caminhos de vetor e núcleos de tensor durante a decodificação quantizada no CUDA.

github llama.cpp · há 5 h · 1 visualização

Lançamento do llama.cpp b10538 com cache KV desquantizado para grandes lotes

O projeto llama.cpp lançou a versão b10538, introduzindo uma otimização-chave no backend metal. Esta atualização permite a desquantização do cache de chave-valor (KV) exclusivamente para tamanhos de lote grandes.