github llama.cpp · há 1 h · inference

webgpu adiciona suporte para MMVQ de Q1_0/Q5_0/Q5_1/Q3_K/Q5_K/Q6_K/MXFP4

Traduzido do English → Português (BR)

O componente webgpu adicionou suporte para formatos MMVQ (Multi-Mode Vector Quantization), especificamente Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K e MXFP4.

Esta atualização aborda a issue #29 no repositório llama.cpp para expandir as capacidades de quantização dentro do ambiente webgpu.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

Eqx-zoo fornece portas verificadas de modelos Equinox do Hugging Face

O autor construiu eqx-zoo, uma biblioteca que carrega checkpoints do Hugging Face Hub diretamente como módulos plain de Equinox e verifica cada modelo contra a biblioteca transformers. O projeto atualmente suporta Llama, Qwen2, Qwen3, Qwen3-MoE para geração, e BERT, RoBERTa, XLM-RoBERTa para embeddings.

media Hugging Face Forums · há 3 d · 18 visualizações

AiiStream Q3.6 permite executar Qwen3.6-35B-A3B em Macs com 8-16 GB de RAM

O autor lançou o AiiStream Q3.6, uma técnica de código aberto que permite que o modelo Qwen3.6-35B-A3B seja executado em dispositivos Apple Silicon com apenas 8 a 16 GB de RAM. Ao manter os especialistas roteados no SSD e usar previsões de carregamento antecipado, o método reduz o uso de memória do MLX para aproximadamente 1,7 GB, mantendo saídas idênticas ao nível de bytes em comparação com a implementação padrão do mlx_lm.

github llama.cpp · há 4 d · 26 visualizações

llama.cpp b11307 preserva a ordem do lote para decodificação especulativa

O projeto llama.cpp lançou a compilação b11307, que corrige a ordem de entrada das camadas para preservar a sequência original do lote durante a decodificação especulativa. Esta alteração garante que a ordem dos tokens seja mantida corretamente para os embeddings NextN não mascarados e seja compatível com divisões de tensores.

github llama.cpp · há 4 d · 17 visualizações

llama.cpp b11301 corrige estouro inteiro em ggml/gguf

O projeto llama.cpp lançou a compilação b11301, que inclui uma correção para um problema de estouro inteiro nos componentes ggml e gguf. Esta atualização aborda a lógica de validação para prevenir erros potenciais ao lidar com tensores de zero elementos.

github llama.cpp · há 4 d · 18 visualizações

llama.cpp b11302 corrige corrida de dados do ThreadSanitizer no indexador esparsa

O projeto llama.cpp lançou a compilação b11302, que aborda um problema crítico de concorrência identificado pelo ThreadSanitizer no pipeline de CI. A atualização resolve uma corrida de dados dentro do mecanismo de atenção esparsa onde vários threads da CPU estavam gravando incorretamente nos mesmos elementos de memória.