github llama.cpp · há 1 h · inference

llama.cpp b11370 funde especialistas compartilhados no MMVQ

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11370, que inclui uma otimização de CUDA para fundir especialistas compartilhados na arquitetura Mixture of MoE com Quantização Vetorial (MMVQ). Esta alteração faz parte do pull request #29184 e também aborda verificações nulas de buffers e manipulação de argumentos para stride_col_dst.

Funde especialistas compartilhados no MMVQ para backends CUDA.
Adiciona verificações nulas para buffers para melhorar a estabilidade.
Move stride_col_dst para os argumentos de fusão.

Esta versão fornece binários atualizados para macOS, Linux, Windows, Android e iOS em vários aceleradores de hardware, incluindo CPU, Vulkan, ROCm, OpenVINO, SYCL e Snapdragon.

Importância 1/3 Confiança 1/3 llama.cpp Hardware & chips Inference efficiency

Ler original

llama.cpp b11335 roteia sm70 para a tabela Turing MMVQ para desempenho no Volta

O projeto llama.cpp lançou a versão b11335, que inclui uma otimização CUDA para GPUs Volta. A atualização direciona a arquitetura sm_70 para a tabela nwarps existente do Turing MMVQ em vez de cair na configuração genérica.

media Hugging Face Forums · há 2 d · 2 visualizações

ThermaCompute AI lança CrashLens para triagem local de logs de falha de GPU

A ThermaCompute AI lançou o CrashLens, uma ferramenta gratuita e local projetada para ajudar engenheiros a investigar falhas de GPU analisando arquivos de log. A ferramenta identifica padrões de falha conhecidos dentro dos logs e sugere etapas específicas para investigação.

github llama.cpp · há 3 d · 4 visualizações

Lançamento do llama.cpp b11280 reduz sincronização allreduce de tensores com buffers host fixados

O projeto llama.cpp lançou a versão b11280, que inclui uma alteração para reduzir a sincronização allreduce de tensores utilizando buffers host fixados.

media Hugging Face Forums · há 3 d · 3 visualizações

AI Hardware Fit conecta os requisitos de VRAM do modelo à seleção de GPU

O criador do AI Hardware Fit lançou uma ferramenta gratuita e de código aberto para navegador, projetada para ajudar os usuários a determinar se um modelo local cabe na sua GPU e comparar opções de hardware adequadas. A ferramenta aborda a complexidade de juntar arquivos de modelos, quantização, comprimento de contexto e suporte de tempo de execução provenientes de fontes diversas.

github llama.cpp · há 6 d · 10 visualizações

llama.cpp b11203 adiciona suporte de entrada F16 ao FWHT da CUDA

O projeto llama.cpp lançou a versão b11203, que inclui uma alteração no Fast Walsh-Hadamard Transform (FWHT) da CUDA para aceitar entradas F16. Anteriormente, o FWHT da CUDA aceitava apenas entradas F32; esta atualização torna o tipo de origem um parâmetro de modelo para que o kernel leia uma fonte F16 diretamente sem exigir uma cópia convertida.