github llama.cpp · há 3 h · inference

llama.cpp b10076 vetoriza get_rows com cópia int4 para aceleração de 27%

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10076, que introduz uma otimização de desempenho no backend CUDA ao vetorizar a operação `get_rows` usando cópias int4. Essa mudança eleva o trabalho invariante à linha para fora do loop por elemento e adiciona um caminho vetorizado que copia 16 bytes por thread para dados contíguos do mesmo tipo.

A implementação é controlada em tempo de compilação e execução, exigindo alinhamento de 16 bytes e condições específicas de stride para garantir a correção. Um gate de ocupação evita regressão em coletas pequenas de uma única linha, mantendo-as no caminho escalar. No Strix Halo (gfx1151), essa otimização reduziu a latência de coleta do estado recorrente DeltaNet de 18.6us para 13.0us.

O lançamento inclui binários para macOS, Linux, Windows, Android e openEuler através dos backends CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL e OpenCL.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

zhongkaifu lança o TensorSharp, um mecanismo de inferência LLM nativo para .NET voltado a modelos GGUF

zhongkaifu lançou o TensorSharp, um mecanismo de inferência local de LLM de código aberto construído inteiramente em C# que suporta Windows, macOS e Linux. O mecanismo lida com modelos GGUF do Unsloth, incluindo Gemma 4 e Qwen 3.6 com capacidades multimodais, ao mesmo tempo que fornece APIs compatíveis com OpenAI e Ollama.

media Hugging Face Forums · há 1 d · 1 visualização

Agentes de voz em produção com LLMs locais enfrentam latência persistente e limites de contexto

Uma equipe que executa dois agentes de voz em produção na Espanha usando Retell AI, Ollama e modelos locais em uma RTX 4000 Ada relata que, embora a qualidade da conversa tenha melhorado, o problema central de latência permanece sem solução. A principal restrição é um tempo limite de ~3 segundos do Retell AI; se o LLM não conseguir produzir um primeiro token dentro dessa janela, a conexão cai, levando ao encerramento da chamada após duas reconexões.

github llama.cpp · há 2 d · 1 visualização

llama.cpp b10069 adiciona suporte de transmissão OpenCL para Adreno MUL_MAT

O projeto llama.cpp lançou a compilação b10069, que inclui atualizações específicas do OpenCL para GPUs Qualcomm Adreno. A principal alteração envolve suportar operações de transmissão para o kernel Adreno MUL_MAT e respeitar deslocamentos de visualização para a variante Q8_0 MUL_MAT para habilitar a funcionalidade multi-stream no llama-server.

github llama.cpp · há 3 d · 1 visualização

llama.cpp b10068 rotaciona o cache K/V injetado para DFlash

O projeto llama.cpp lançou a versão b10068, que introduz uma alteração na implementação do modelo DFlash. A atualização modifica src/models/dflash.cpp para rotacionar o cache de chave/valor (K/V) injetado quando a quantização K/V é usada.

github llama.cpp · há 3 d · 1 visualização

llama.cpp b10067 exclui a tabela de roteamento do DeepSeek-V4 da quantização

O projeto llama.cpp lançou a versão b10067, que inclui uma correção para a ferramenta `llama-quantize` para lidar corretamente com os modelos DeepSeek-V4. A atualização impede que o quantizador tente converter o tensor `ffn_gate_tid2eid`, uma tabela de índice de token-to-expert i32, em um tipo float.