github llama.cpp · há 3 d · inference

llama.cpp b10830 adiciona a flag --fuse-qkv para conversão de HF para GGUF

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10830, introduzindo uma nova opção de linha de comando para conversão de modelos. Esta atualização adiciona a flag `--fuse-qkv`, que permite aos usuários fundir as matrizes Query, Key e Value em uma única estrutura QKV durante a conversão do formato Hugging Face para GGUF.

O lançamento inclui binários para macOS (Apple Silicon e Intel), Linux (Ubuntu com backends de CPU, Vulkan, ROCm, OpenVINO e SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, OpenVINO e SYCL) e openEuler.
O suporte para iOS é fornecido via XCFramework, enquanto o suporte do KleidiAI no macOS Apple Silicon está atualmente desabilitado.

Esta atualização oferece aos usuários um caminho de conversão mais eficiente para modelos que se beneficiam de mecanismos de atenção fundidos.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp desativa o carregamento preguiçoso de tensores por padrão em GPUs integradas

O projeto llama.cpp desativou o carregamento preguiçoso de tensores por padrão para GPUs integradas (iGPUs) na versão b10867. Esta alteração corrige uma regressão introduzida na configuração anterior do modo "AUTO".

github llama.cpp · há 2 d · 3 visualizações

llama.cpp b10864 corrige a evicção de checkpoints para modelos híbridos

O projeto llama.cpp lançou a compilação b10864, que inclui uma correção para a lógica de evicção de espaçamento de checkpoints em `create_checkpoint()`. Anteriormente, a regra de evicção mantinha o checkpoint mais antigo e apagava os subsequentes dentro de `checkpoint_min_step`, fazendo com que prompts mais curtos que esse limite perdessem o checkpoint necessário para a retomada. Isso forçava modelos híbridos e recorrentes a reprefijar desnecessariamente a partir do checkpoint anterior.

github llama.cpp · há 3 d · 6 visualizações

llama.cpp b10844 adiciona operações fundidas de hiperconexão Vulkan para DeepSeek-V4

O projeto llama.cpp lançou a versão b10844, introduzindo suporte para operações fundidas de hiperconexão DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) no backend Vulkan. Esta atualização traz o Vulkan ao mesmo nível que CUDA e Metal em relação a essas otimizações específicas.

github llama.cpp · há 3 d · 4 visualizações

llama.cpp b10842 adiciona suporte HIP para gfx90c

O projeto llama.cpp lançou a compilação b10842, que introduz suporte para a arquitetura gfx90c via HIP.

media Hugging Face Forums · há 3 d · 8 visualizações

AI Model Radar é lançado com ajuste de hardware medido para modelos abertos

Um novo site chamado AI Model Radar ajuda os usuários a determinar quais modelos abertos realmente se encaixam em sua GPU ou Mac usando dados medidos em vez de estimativas. A plataforma calcula os tamanhos de pesos com base em arquivos GGUF publicados reais e computa o cache de contexto camada por camada a partir das configurações do modelo.