media r/LocalLLaMA · há 1 h · open_models

Modelo MoE G9v3-39A5B mostra resultados fortes no artificialanalysis

Traduzido do English → Português (BR)

O modelo G9v3-39A5B está chamando a atenção por seu desempenho no artificialanalysis, onde reportedly fica acima do Qwen 3.6 27B.

É uma arquitetura de Mixture of Experts (MoE).
Existe um branch de recursos do llama.cpp para suportar o formato G9v3.
Checkpoints GGUF estão disponíveis via Hugging Face.

Importância 2/3 r/LocalLLaMA Inference efficiency Local inference

Ler original

Pipeline da Celestium permite SDXL em GPUs de 4GB-8GB via FP16 adaptativo e fallback para CPU

Um diagnóstico usando o pipeline de inferência agnóstico a hardware da Celestium demonstra que o Stable Diffusion XL pode rodar de forma estável em GPUs com pouca VRAM (4GB, 6GB e 8GB) ao aproveitar precisão FP16 adaptativa e limpeza autônoma de memória. A abordagem evita picos de fragmentação durante pipelines multiestágio e utiliza um modo de emergência na CPU para manter a geração quando a VRAM da GPU se esgota.

github llama.cpp · há 11 h · 1 visualização

llama.cpp b10505 adiciona a opção de preset dedup-cache-models

O projeto llama.cpp lançou a versão b10505, que introduz uma nova opção de preset `dedup-cache-models` para o componente do servidor.

media Hugging Face Forums · há 2 d · 3 visualizações

Quantização da Magnitude de Fourier do Cache KV dobra o comprimento do contexto com a mesma memória

ntrillard demonstra que quantizar o espectro de magnitude de Fourier dos valores de cache K e V para 4 bits, preservando a fase em precisão completa, alcança correspondência de tokens de 96,9% em relação à referência fp16 no Gemma-3-1B, uma melhoria de 5 a 10 vezes em comparação com a quantização padrão min-max.

github llama.cpp · há 5 d · 26 visualizações

llama.cpp adiciona suporte ao modelo Kimi-K3 com repacking MXFP4 e template de chat

O projeto llama.cpp adicionou suporte ao modelo de texto Kimi-K3, implementando sua arquitetura de atenção híbrida KDA (linear) + MLA (completa), juntamente com cinco recursos arquitetônicos específicos ausentes no Kimi-Linear-48B mais antigo.

github llama.cpp · há 5 d · 21 visualizações

llama.cpp b10447 redesenha o modelo de threads yield_to_queue

O projeto llama.cpp lançou a compilação b10447, que inclui um redesenho do modelo de threads `yield_to_queue`. Esta alteração envolve executar `common_speculative_process` no worker e trocar o design da thread worker para a principal.