github llama.cpp · há 1 h · inference

ggml-org lança llama.cpp b10774 com correção de cache KV para fine-tuning

Traduzido do English → Português (BR)

O projeto ggml-org lançou a versão b10774 do llama.cpp, que inclui uma correção para o problema de falta de cache KV no módulo de fine-tuning.

O componente de treinamento agora lida corretamente com o uso do cache KV durante as operações de fine-tuning.
Binários estão disponíveis para macOS (Apple Silicon e Intel), Linux (Ubuntu com CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) e openEuler.
Um XCFramework para iOS e um pacote de UI independente também estão incluídos nos ativos do lançamento.

Esta atualização garante que os fluxos de trabalho de fine-tuning funcionem corretamente, abordando o tratamento anteriormente quebrado do cache de chave-valor.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10763 habilita preserve_reasoning por padrão

O projeto llama.cpp lançou a compilação b10763, que altera o comportamento padrão do argumento de palavra-chave `preserve_reasoning` do modelo de chat. O servidor agora registra o estado efetivo deste kwarg e emite um aviso quando ele está habilitado por padrão em modelos que o suportam.

github llama.cpp · há 16 h · 1 visualização

llama.cpp b10760 corrige estabilidade de inferência do Qwen3-tts-0.6b

O projeto llama.cpp lançou a compilação b10760, que inclui correções específicas para o modelo Qwen3-tts-0.6B para prevenir instabilidade numérica durante a inferência.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b10751 funde a redução de especialistas ponderados do MoE para CUDA

O projeto llama.cpp lançou a compilação b10751, que introduz um kernel fundido para a redução de especialistas ponderados do MoE (Mixture of Experts) no CUDA. Essa otimização substitui a linha de base anterior, que executava dois kernels físicos, por um único kernel de redução ponderada para reduzir o tráfego de memória global intermediário.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b10750 otimiza a consulta de n-gramas do cache KV para ganho de 4,9% na taxa de transferência

O projeto llama.cpp lançou a compilação b10750, que reestrutura o gerenciamento das células de chave e valor para melhorar a indexação da posição da sequência e as consultas ao histórico de n-gramas.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b10742 adiciona ajustes fa-vec para A18 Pro

O projeto llama.cpp lançou a versão b10742, que inclui um novo recurso adicionando ajustes de vetor rápido (fa-vec) especificamente para o chip Apple A18 Pro encontrado no MacBook Neo.