media Hugging Face Forums · agora mesmo · open_models

AiiStream Q3.6 permite executar Qwen3.6-35B-A3B em Macs com 8-16 GB de RAM

Traduzido do English → Português (BR)

O autor lançou o AiiStream Q3.6, uma técnica de código aberto que permite que o modelo Qwen3.6-35B-A3B seja executado em dispositivos Apple Silicon com apenas 8 a 16 GB de RAM. Ao manter os especialistas roteados no SSD e usar previsões de carregamento antecipado, o método reduz o uso de memória do MLX para aproximadamente 1,7 GB, mantendo saídas idênticas ao nível de bytes em comparação com a implementação padrão do mlx_lm.

Principais métricas de desempenho em um MacBook Air M5 com 16 GB:

15,0 tokens/s em benchmarks controlados, o que é 72,6% mais rápido que o streaming direto do SSD.
Aproximadamente 11,8 tokens/s com outros aplicativos em execução.
Um tempo até o primeiro token de cerca de 2,3 segundos para prompts curtos.

A técnica foi projetada para funcionar também em Macs com 8 GB, embora as cifras de desempenho para essa configuração permaneçam estimativas baseadas no lançamento atual.

Importância 1/3 Novo ambiente de avaliação com diferenciais Confiança 1/3 Hugging Face Forums Inference efficiency Local inference

Ler original

llama.cpp b11307 preserva a ordem do lote para decodificação especulativa

O projeto llama.cpp lançou a compilação b11307, que corrige a ordem de entrada das camadas para preservar a sequência original do lote durante a decodificação especulativa. Esta alteração garante que a ordem dos tokens seja mantida corretamente para os embeddings NextN não mascarados e seja compatível com divisões de tensores.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b11301 corrige estouro inteiro em ggml/gguf

O projeto llama.cpp lançou a compilação b11301, que inclui uma correção para um problema de estouro inteiro nos componentes ggml e gguf. Esta atualização aborda a lógica de validação para prevenir erros potenciais ao lidar com tensores de zero elementos.

github llama.cpp · há 1 d · 3 visualizações

llama.cpp b11302 corrige corrida de dados do ThreadSanitizer no indexador esparsa

O projeto llama.cpp lançou a compilação b11302, que aborda um problema crítico de concorrência identificado pelo ThreadSanitizer no pipeline de CI. A atualização resolve uma corrida de dados dentro do mecanismo de atenção esparsa onde vários threads da CPU estavam gravando incorretamente nos mesmos elementos de memória.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b11298 adiciona suporte a dflash para conversão e extração de recursos

O projeto llama.cpp lançou a compilação b11298, que introduz suporte ao formato dflash. Esta atualização permite tanto a conversão de modelos para este formato quanto a capacidade subsequente de extração de recursos.

github llama.cpp · há 1 d · 3 visualizações

llama.cpp b11284 corrige GET_ROWS do OpenVINO em visualizações de pesos quantizados

O projeto llama.cpp lançou a compilação b11284, que inclui uma correção para o backend do OpenVINO para lidar corretamente com operações GET_ROWS em visualizações de pesos quantizados.