github llama.cpp · agora mesmo · inference

llama.cpp b10900 habilita fusão topk_moe para prefill via Vulkan

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10900, que inclui uma atualização técnica no backend Vulkan. Este lançamento adiciona uma dependência de alocação especificamente para habilitar a otimização de fusão topk_moe durante a fase de prefill.

A principal alteração de código é a adição de uma dependência de alocação na implementação do Vulkan para suportar a fusão topk_moe para operações de prefill.
Binários estão disponíveis para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android e iOS.

O suporte do KleidiAI para macOS Apple Silicon está desativado nesta compilação.

Esta atualização fornece aos usuários desempenho de prefill otimizado em hardware compatível com Vulkan por meio da técnica de fusão recém-habilitada.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

CyberTiel 35B-A3B sem censura com quantização de 4 bits supera Opus 4.6 medium em problemas de base de código

Um pesquisador anônimo lançou o CyberTiel 35B-A3B, um modelo quantizado de 4 bits sem censura, projetado para pesquisa em segurança ofensiva e engenharia de software agêntica. O modelo é construído por meio de abliteration na base TielCoder e quantizado com uma imatrix aprimorada derivada de um corpus curado de cibersegurança.

github llama.cpp · há 1 h Ao vivo

llama.cpp b10899 adiciona otimizações do Vulkan para Qwen e suporte split_k

O projeto llama.cpp lançou a versão b10899, introduzindo melhorias específicas de desempenho em seu backend Vulkan. A atualização foca na otimização de operações matriciais para a família de modelos Qwen e no aprimoramento do desempenho geral com M pequeno.

media Together AI Blog · há 1 h Ao vivo

Together AI otimiza GEMMs do ThunderKittens para a NVIDIA Vera Rubin NVL72

A equipe de kernels da Together AI otimizou a biblioteca ThunderKittens para aproveitar os novos recursos da plataforma NVIDIA Vera Rubin NVL72, com foco específico em melhorar o desempenho das multiplicações de matriz NVFP4 e FP8.

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10896 corrige falha de decodificação do DFlash com modelos de visão

O projeto llama.cpp lançou a compilação b10896, que aborda um problema crítico onde a memória do redator falhava ao alocar novos tokens ao usar DFlash com modelos de visão. Essa falha ocorreu porque as imagens relatavam um deslocamento fixo, impedindo a alocação adequada de tokens.

media Hugging Face Forums · há 7 h · 1 visualização

Desenvolvedor busca conselhos para projetar uma arquitetura de IA de voz com baixo custo e latência de primeiro token de ~500ms

Um desenvolvedor de IA está pedindo conselhos de arquitetura para construir um sistema de IA de voz em tempo real que atinja aproximadamente 500 ms ou menos de latência de primeiro token, mantendo-se economicamente viável e escalável.