github llama.cpp · há 1 h · inference

llama.cpp b11450 adiciona suporte a tensores RPC e corrige flush do Apple RDMA

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11450, introduzindo melhorias na chamada de procedimento remoto (RPC) e correções de bugs específicas da plataforma. A atualização permite a flag `-sm tensor` para operações RPC e resolve um problema de flush que afeta as implementações do Apple RDMA.

Adicionado suporte ao argumento `-sm tensor` nas configurações de RPC.
Corrigido o comportamento de flush de dados para sistemas Apple RDMA.
Movidos graph_uids para o módulo rpc_dispatcher.
Parado o giro desnecessário da thread do despachante.
Incrementado o número major da versão RPC.
Fornecidos binários para macOS, Linux, Windows, Android e openEuler através de backends CPU, GPU e NPU.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b11440 re-reserva o agendador quando as flags de extração NextN mudam

O projeto llama.cpp lançou a versão b11440, que inclui uma correção para a inicialização especulativa de MTP. A atualização garante que o agendador seja re-reservado quando as flags de extração NextN mudarem, prevenindo problemas com extração não mascarada.

github llama.cpp · há 1 d · 21 visualizações

llama.cpp b11413 adiciona atenção flash esparsa do Vulkan para K/V quantizados

O lançamento b11413 do llama.cpp introduz uma nova implementação de atenção flash esparsa em Vulkan que suporta tensores de Chave e Valor quantizados. Esta atualização aborda problemas de desempenho no método anterior de compactação, que era muito custoso para tarefas de decodificação com janelas de contexto grandes.

github llama.cpp · há 2 d · 22 visualizações

webgpu adiciona suporte para MMVQ de Q1_0/Q5_0/Q5_1/Q3_K/Q5_K/Q6_K/MXFP4

O componente webgpu adicionou suporte para formatos MMVQ (Multi-Mode Vector Quantization), especificamente Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K e MXFP4.

media Hugging Face Forums · há 2 d · 27 visualizações

Eqx-zoo fornece portas verificadas de modelos Equinox do Hugging Face

O autor construiu eqx-zoo, uma biblioteca que carrega checkpoints do Hugging Face Hub diretamente como módulos plain de Equinox e verifica cada modelo contra a biblioteca transformers. O projeto atualmente suporta Llama, Qwen2, Qwen3, Qwen3-MoE para geração, e BERT, RoBERTa, XLM-RoBERTa para embeddings.

media Hugging Face Forums · há 5 d · 28 visualizações

AiiStream Q3.6 permite executar Qwen3.6-35B-A3B em Macs com 8-16 GB de RAM

O autor lançou o AiiStream Q3.6, uma técnica de código aberto que permite que o modelo Qwen3.6-35B-A3B seja executado em dispositivos Apple Silicon com apenas 8 a 16 GB de RAM. Ao manter os especialistas roteados no SSD e usar previsões de carregamento antecipado, o método reduz o uso de memória do MLX para aproximadamente 1,7 GB, mantendo saídas idênticas ao nível de bytes em comparação com a implementação padrão do mlx_lm.