github llama.cpp · há 1 h · inference

llama.cpp b11382 adiciona suporte f16 ao fill/set_rows do WebGPU

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11382, que inclui uma atualização importante para seu backend do WebGPU. Este lançamento adiciona suporte de ponto flutuante de 16 bits (f16) especificamente para as operações `fill` e `set_rows` dentro da implementação do WebGPU.

A alteração no código-fonte está rastreada no pull request #29897 no repositório ggml-org/llama.cpp.
Binários estão disponíveis para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android e openEuler.
O lançamento também inclui o binário padrão da interface do usuário do llama.cpp.

Importância 1/3 Confiança 1/3 llama.cpp Hardware & chips Inference efficiency

Ler original

llama.cpp b11370 funde especialistas compartilhados no MMVQ

O projeto llama.cpp lançou a compilação b11370, que inclui uma otimização de CUDA para fundir especialistas compartilhados na arquitetura Mixture of MoE com Quantização Vetorial (MMVQ). Esta alteração faz parte do pull request #29184 e também aborda verificações nulas de buffers e manipulação de argumentos para stride_col_dst.

github llama.cpp · há 2 d · 6 visualizações

llama.cpp b11335 roteia sm70 para a tabela Turing MMVQ para desempenho no Volta

O projeto llama.cpp lançou a versão b11335, que inclui uma otimização CUDA para GPUs Volta. A atualização direciona a arquitetura sm_70 para a tabela nwarps existente do Turing MMVQ em vez de cair na configuração genérica.

media Hugging Face Forums · há 3 d · 6 visualizações

ThermaCompute AI lança CrashLens para triagem local de logs de falha de GPU

A ThermaCompute AI lançou o CrashLens, uma ferramenta gratuita e local projetada para ajudar engenheiros a investigar falhas de GPU analisando arquivos de log. A ferramenta identifica padrões de falha conhecidos dentro dos logs e sugere etapas específicas para investigação.

github llama.cpp · há 4 d · 8 visualizações

Lançamento do llama.cpp b11280 reduz sincronização allreduce de tensores com buffers host fixados

O projeto llama.cpp lançou a versão b11280, que inclui uma alteração para reduzir a sincronização allreduce de tensores utilizando buffers host fixados.

media Hugging Face Forums · há 4 d · 5 visualizações

AI Hardware Fit conecta os requisitos de VRAM do modelo à seleção de GPU

O criador do AI Hardware Fit lançou uma ferramenta gratuita e de código aberto para navegador, projetada para ajudar os usuários a determinar se um modelo local cabe na sua GPU e comparar opções de hardware adequadas. A ferramenta aborda a complexidade de juntar arquivos de modelos, quantização, comprimento de contexto e suporte de tempo de execução provenientes de fontes diversas.