github llama.cpp · há 2 h · inference

llama.cpp b10078 refatora o manuseio de filas do Vulkan para contornar o mutex do lado do host

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10078, que inclui uma refactorização significativa do backend do Vulkan para melhorar a eficiência da sincronização. A atualização integra suporte para VK_KHR_internally_synchronized_queues, permitindo que a biblioteca abstraia o envio de filas em uma interface polimórfica que contorna completamente o bloqueio do mutex do lado do host quando o driver suporta isso.

Refatora vk_queue para usar mutexes por instância e manipuladores exclusivos para posse exclusiva.
Integra VK_KHR_internally_synchronized_queues para contornar o bloqueio do mutex do lado do host quando suportado pelo driver.
Adiciona definições de fallback e constantes static constexpr para detecção de internallySynchronizedQueues.
Corrige erros de compilação, cadeias pNext duplicadas e verificações nulas no destrutor vk_device_struct.

Esta mudança otimiza o gerenciamento de ciclo de vida e a segurança de threads enquanto reduz chamadas de API redundantes durante a criação do dispositivo.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Artigos relacionados

github llama.cpp · há 8 h

llama.cpp b10076 vetoriza get_rows com cópia int4 para aceleração de 27%

O projeto llama.cpp lançou a compilação b10076, que introduz uma otimização de desempenho no backend CUDA ao vetorizar a operação `get_rows` usando cópias int4. Essa mudança eleva o trabalho invariante à linha para fora do loop por elemento e adiciona um caminho vetorizado que copia 16 bytes por thread para dados contíguos do mesmo tipo.

media Hugging Face Forums · há 2 d · 1 visualização

Agentes de voz em produção com LLMs locais enfrentam latência persistente e limites de contexto

Uma equipe que executa dois agentes de voz em produção na Espanha usando Retell AI, Ollama e modelos locais em uma RTX 4000 Ada relata que, embora a qualidade da conversa tenha melhorado, o problema central de latência permanece sem solução. A principal restrição é um tempo limite de ~3 segundos do Retell AI; se o LLM não conseguir produzir um primeiro token dentro dessa janela, a conexão cai, levando ao encerramento da chamada após duas reconexões.

github llama.cpp · há 2 d · 1 visualização

llama.cpp b10069 adiciona suporte de transmissão OpenCL para Adreno MUL_MAT

O projeto llama.cpp lançou a compilação b10069, que inclui atualizações específicas do OpenCL para GPUs Qualcomm Adreno. A principal alteração envolve suportar operações de transmissão para o kernel Adreno MUL_MAT e respeitar deslocamentos de visualização para a variante Q8_0 MUL_MAT para habilitar a funcionalidade multi-stream no llama-server.

media Hugging Face Forums · há 3 d · 2 visualizações

zhongkaifu lança o TensorSharp, um mecanismo de inferência LLM nativo para .NET voltado a modelos GGUF

zhongkaifu lançou o TensorSharp, um mecanismo de inferência local de LLM de código aberto construído inteiramente em C# que suporta Windows, macOS e Linux. O mecanismo lida com modelos GGUF do Unsloth, incluindo Gemma 4 e Qwen 3.6 com capacidades multimodais, ao mesmo tempo que fornece APIs compatíveis com OpenAI e Ollama.

github llama.cpp · há 3 d · 1 visualização

llama.cpp b10068 rotaciona o cache K/V injetado para DFlash

O projeto llama.cpp lançou a versão b10068, que introduz uma alteração na implementação do modelo DFlash. A atualização modifica src/models/dflash.cpp para rotacionar o cache de chave/valor (K/V) injetado quando a quantização K/V é usada.