github llama.cpp · há 1 h · inference

llama.cpp b10232 implementa hiperconexões do DeepSeek V4 no Metal

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10232, que introduz suporte para as hiperconexões do DeepSeek V4 por meio do backend do Metal. Esta atualização adiciona a implementação das operações GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE e GGML_OP_DSV4_HC_POST.

Os novos kernels utilizam otimizações de registro SIMDgroup e embaralhamento.
Foi adicionada a infraestrutura de despacho do Metal para suportar contagens de iteração Sinkhorn de produção e larguras de embedding.
Binários pré-compilados estão disponíveis para macOS (Apple Silicon e Intel), iOS, Linux, Windows, Android e openEuler em vários backends de hardware, incluindo CPU, CUDA, ROCm, Vulkan e OpenVINO.

Este lançamento permite a inferência eficiente de modelos DeepSeek V4 em dispositivos Apple Silicon usando o framework Metal.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10219 persiste reasoning_content no histórico de chat

O projeto llama.cpp lançou a versão b10219, que inclui uma correção para o CLI para persistir o conteúdo do raciocínio dentro do histórico de chat. Anteriormente, embora o `llama-cli` coletasse o raciocínio do stream para exibição, ele armazenava apenas o conteúdo do assistente nas mensagens, impedindo que a flag `--reasoning-preserve` re-injetasse pensamentos anteriores em rodadas posteriores.

github llama.cpp · há 2 d · 8 visualizações

llama.cpp b10213 adiciona suporte para quantização de cache kv rotacionado

O projeto llama.cpp lançou a versão b10213, introduzindo suporte para quantização de cache de chave-valor rotacionado. Esta atualização está disponível em uma ampla gama de plataformas e aceleradores de hardware.

github llama.cpp · há 2 d · 3 visualizações

llama.cpp b10212 carrega tensores MTP apenas quando usados

O projeto llama.cpp lançou a versão b10212, que inclui uma alteração para carregar os tensores de Multi-Token Prediction (MTP) apenas se forem realmente utilizados. Esta atualização garante que os tensores MTP sejam ignorados durante o carregamento nos modelos restantes que suportam o recurso, mas não o exigem.

github llama.cpp · há 2 d · 3 visualizações

llama.cpp b10210 corrige tokens aceitos durante a repetição de tokens rascunho

O projeto llama.cpp lançou a versão b10210, que inclui uma correção na lógica do servidor para lidar com tokens aceitos quando a repetição de tokens rascunho é necessária.

github llama.cpp · há 2 d · 6 visualizações

llama.cpp b10208 adiciona flash attention GEMM oneMKL para processamento de prompt acelerado por XMX

A versão b10208 do llama.cpp introduz suporte SYCL para flash attention GEMM oneMKL, permitindo aceleração por hardware XMX no processamento de prompts. Essa alteração melhora significativamente a velocidade de inferência em GPUs Intel Arc ao utilizar kernels MKL em vez do caminho TILE padrão.