github llama.cpp · há 1 h · inference

llama.cpp b10519 refatora manipulação de suspensão para permitir acesso a métricas

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10519, que inclui uma refactorização significativa do mecanismo de manipulação de suspensão do servidor. Esta alteração permite que o endpoint /metrics permaneça acessível enquanto o servidor está em estado de suspensão.

Refatorada a lógica on_sleeping_state e separadas as tarefas/resultados de métricas e slots.
Adicionadas respostas em cache e corrigida uma condição de corrida no temporizador da tarefa de métricas.
Corrigido get_res_model_info e atualizada a documentação.
Fornecidos binários para macOS (Apple Silicon/Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, ROCm), Android e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10517 adiciona otimizações de desquantização FA para Vulkan e correções

O projeto llama.cpp lançou a compilação b10517, introduzindo várias melhorias específicas para Vulkan no caminho de desquantização do flash attention (FA). As principais alterações incluem desquantizar q8_0 KV uma vez em coopmat1, pular o caminho de desquantização FA no coopmat2 e excluir Intel Xe1 do caminho de desquantização FA.

media r/LocalLLaMA · há 9 h · 2 visualizações

Modelo MoE G9v3-39A5B mostra resultados fortes no artificialanalysis

O modelo G9v3-39A5B está chamando a atenção por seu desempenho no artificialanalysis, onde reportedly fica acima do Qwen 3.6 27B.

media Hugging Face Forums · há 9 h · 1 visualização

Pipeline da Celestium permite SDXL em GPUs de 4GB-8GB via FP16 adaptativo e fallback para CPU

Um diagnóstico usando o pipeline de inferência agnóstico a hardware da Celestium demonstra que o Stable Diffusion XL pode rodar de forma estável em GPUs com pouca VRAM (4GB, 6GB e 8GB) ao aproveitar precisão FP16 adaptativa e limpeza autônoma de memória. A abordagem evita picos de fragmentação durante pipelines multiestágio e utiliza um modo de emergência na CPU para manter a geração quando a VRAM da GPU se esgota.

github llama.cpp · há 19 h · 1 visualização

llama.cpp b10505 adiciona a opção de preset dedup-cache-models

O projeto llama.cpp lançou a versão b10505, que introduz uma nova opção de preset `dedup-cache-models` para o componente do servidor.

media Hugging Face Forums · há 2 d · 3 visualizações

Quantização da Magnitude de Fourier do Cache KV dobra o comprimento do contexto com a mesma memória

ntrillard demonstra que quantizar o espectro de magnitude de Fourier dos valores de cache K e V para 4 bits, preservando a fase em precisão completa, alcança correspondência de tokens de 96,9% em relação à referência fp16 no Gemma-3-1B, uma melhoria de 5 a 10 vezes em comparação com a quantização padrão min-max.