github llama.cpp · há 2 h · inference

llama.cpp b10608 corrige átomo moov de vídeo e SIGPIPE

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10608, que inclui uma correção para o módulo de vídeo para lidar corretamente com o átomo moov no final dos arquivos. Esta atualização também aborda problemas de SIGPIPE adicionando tratamento para casos de pipe quebrado no Windows.

mtmd: video: corrige átomo moov no final do arquivo
Corrige SIGPIPE e trata caso de pipe quebrado no Windows

Esta versão fornece binários atualizados para macOS, Linux, Windows, Android e openEuler em vários backends de hardware, incluindo CPU, CUDA, ROCm, Vulkan e OpenVINO.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

Assistente LLM móvel reduz custos de tokens em 75% por meio de cache e compressão de histórico

Um desenvolvedor de aplicativos móveis reduziu os custos da API de LLM de quatro vezes a estimativa inicial para cerca de um quarto desse valor ao abordar duas ineficiências principais: o reenvio ingênuo do histórico completo e a injeção redundante de contexto RAG.

github llama.cpp · há 1 h · 6 visualizações Ao vivo

llama.cpp b10610 encurta a nomenclatura de dispositivos virtuais no CUDA e Metal

O projeto llama.cpp lançou a versão b10610, que inclui uma alteração para encurtar a nomenclatura de dispositivos virtuais dentro do backend ggml tanto para as plataformas CUDA quanto Metal.

github llama.cpp · há 6 h · 17 visualizações

llama.cpp b10605 achata projeções mamba2 para despachar GEMM

O projeto llama.cpp lançou a compilação b10605, que inclui uma otimização chave para a arquitetura Mamba2. A atualização achata as projeções de entrada e saída dos modelos Mamba2 para despachar operações de Multiplicação Geral de Matrizes (GEMM) em vez de operações de Multiplicação Geral de Matriz por Vetor (GEMV).

media r/LocalLLaMA · há 7 h · 16 visualizações

Qwen 3.8 27B pontua 72.9 no benchmark Aider

O modelo Qwen 3.8 27B, executado em FP8 com uma janela de contexto de 256K via vLLM, alcançou uma pontuação de 72.9 no benchmark Aider.

github llama.cpp · há 7 h · 11 visualizações

llama.cpp b10604 adiciona suporte ao formato DSV4 do Deepseek 4 e binários para macOS/iOS

O projeto llama.cpp lançou a versão b10604, introduzindo suporte ao formato de modelo Deepseek 4 (DSV4) junto com novos binários pré-compilados para macOS e iOS.