github llama.cpp · há 2 h · inference

llama.cpp b10231 adiciona suporte ao sidecar DSpark

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10231, introduzindo suporte para o sidecar de decodificação especulativa DSpark. Esta atualização permite que arquivos dspark sejam resolvidos de maneira semelhante a outros sidecars especulativos, com a tag -hfd aplicada a eles e a seleção automática priorizando dspark sobre dflash devido ao seu Markov head extra.

O lançamento fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x com CPU, Vulkan, ROCm 7.2, OpenVINO e backends SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler (x86 e aarch64 com ACL Graph).

Esta atualização expande as opções de aceleração por hardware disponíveis para usuários do llama.cpp em vários sistemas operacionais e arquiteturas de GPU.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10235 adiciona op SILU_BACK para f32

O projeto llama.cpp lançou a versão b10235, introduzindo uma nova operação SILU_BACK para precisão f32. Esta atualização inclui a implementação do operador silu_back e remove asserções redundantes do arquivo ggml-metal-ops.cpp.

github llama.cpp · há 1 h · 1 visualização Ao vivo

llama.cpp b10232 implementa hiperconexões do DeepSeek V4 no Metal

O projeto llama.cpp lançou a compilação b10232, que introduz suporte para as hiperconexões do DeepSeek V4 por meio do backend do Metal. Esta atualização adiciona a implementação das operações GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE e GGML_OP_DSV4_HC_POST.

github llama.cpp · há 6 h

llama.cpp b10229 corrige dados de profiling do OpenCL não sendo despejados

O projeto llama.cpp lançou a versão b10229, que inclui uma correção crítica para o backend do OpenCL. A atualização aborda um problema onde os dados de profiling falhavam em serem escritos durante o término do programa.

media Hugging Face Forums · há 21 h · 6 visualizações

Hardik Kumar publica matriz de preços de inferência da HF com spread de até 4,66x

Um novo conjunto de dados publicado no Hugging Face fornece uma matriz de preços abrangente para provedores de inferência de modelos, revelando disparidades significativas de custo para os mesmos modelos entre diferentes fornecedores.

github llama.cpp · há 1 d · 7 visualizações

llama.cpp b10219 persiste reasoning_content no histórico de chat

O projeto llama.cpp lançou a versão b10219, que inclui uma correção para o CLI para persistir o conteúdo do raciocínio dentro do histórico de chat. Anteriormente, embora o `llama-cli` coletasse o raciocínio do stream para exibição, ele armazenava apenas o conteúdo do assistente nas mensagens, impedindo que a flag `--reasoning-preserve` re-injetasse pensamentos anteriores em rodadas posteriores.