github llama.cpp · há 1 h · inference

llama.cpp b10238 adiciona suporte para MTP no Qwen3-Next

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10238, que introduz o suporte para Multi-Token Prediction (MTP) na família de modelos Qwen3-Next. Esta atualização inclui alterações específicas de implementação para lidar com camadas MTP e correções relacionadas à verificação de tipos do Python no código-fonte.

Adicionado suporte para MTP nos modelos Qwen3-Next em src/models/qwen3next.cpp.
Corrigido o cálculo de num_mtp diretamente das camadas MTP e definido opt_num_mtp_layers em _QwenMtpMixin.
Resolvidos problemas de verificação de tipos do Python e atualizado gguf-py/gguf/constants.py.
Fornecidos binários para macOS (Apple Silicon/Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) e openEuler.

Esta versão permite que os usuários executem modelos Qwen3-Next com capacidades MTP em uma ampla gama de arquiteturas de hardware e sistemas operacionais.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10237 adiciona suporte para MTP no DeepSeek V3.2

O projeto llama.cpp lançou a compilação b10237, que introduz o suporte à Predição de Múltiplos Tókenes (MTP) para o modelo DeepSeek V3.2.

github llama.cpp · há 14 h · 7 visualizações

llama.cpp b10232 implementa hiperconexões do DeepSeek V4 no Metal

O projeto llama.cpp lançou a compilação b10232, que introduz suporte para as hiperconexões do DeepSeek V4 por meio do backend do Metal. Esta atualização adiciona a implementação das operações GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE e GGML_OP_DSV4_HC_POST.

github llama.cpp · há 2 d · 9 visualizações

llama.cpp b10219 persiste reasoning_content no histórico de chat

O projeto llama.cpp lançou a versão b10219, que inclui uma correção para o CLI para persistir o conteúdo do raciocínio dentro do histórico de chat. Anteriormente, embora o `llama-cli` coletasse o raciocínio do stream para exibição, ele armazenava apenas o conteúdo do assistente nas mensagens, impedindo que a flag `--reasoning-preserve` re-injetasse pensamentos anteriores em rodadas posteriores.

github llama.cpp · há 3 d · 8 visualizações

llama.cpp b10213 adiciona suporte para quantização de cache kv rotacionado

O projeto llama.cpp lançou a versão b10213, introduzindo suporte para quantização de cache de chave-valor rotacionado. Esta atualização está disponível em uma ampla gama de plataformas e aceleradores de hardware.

github llama.cpp · há 3 d · 3 visualizações

llama.cpp b10212 carrega tensores MTP apenas quando usados

O projeto llama.cpp lançou a versão b10212, que inclui uma alteração para carregar os tensores de Multi-Token Prediction (MTP) apenas se forem realmente utilizados. Esta atualização garante que os tensores MTP sejam ignorados durante o carregamento nos modelos restantes que suportam o recurso, mas não o exigem.