github llama.cpp · há 1 h · inference

llama.cpp b10080 corrige falha no servidor e erro de validação da UI

Traduzido do English → Português (BR)

A versão llama.cpp b10080 aborda dois bugs específicos nos componentes do servidor e da interface do usuário. O servidor agora retorna corretamente um código de status 400 em vez de falhar com um erro 500 quando a validação falha para solicitações contendo o cabeçalho X-Conversation-Id. Além disso, a UI não envia mais o placeholder backend_sampling, que anteriormente causava falhas na validação de conclusões com configurações padrão.

Servidor: Corrige uma falha de std::bad_function_call manipulando next_orig vazio em on_complete() quando set_next() é ignorado durante erros de validação.
Servidor: Evita sessões instaladas por set_req() para solicitações falhas para prevenir vazamentos de recursos e problemas de descoberta.
UI: Protege o campo backend_sampling com hasValue() para filtrar placeholders de strings vazias enquanto preserva valores false explícitos.

Essas alterações melhoram a estabilidade, prevenindo falhas do servidor em entradas inválidas e garantindo que as configurações padrão sejam transmitidas corretamente do cliente.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Artigos relacionados

github llama.cpp · agora mesmo Ao vivo

llama.cpp b10081 resolve o repositório de rascunho para seu sidecar solicitado

A versão llama.cpp b10081 corrige um bug onde a flag `--hfd` apontava para um repositório contendo sidecars especulativos, mas o plano de rascunho resolvia incorretamente para o modelo principal em vez do sidecar. Isso ocorreu porque `find_best_model()` excluía arquivos de sidecar e o plano de rascunho explícito suprimia a descoberta de sidecars.

arxiv arXiv cs.LG · há 5 h

SkewAdam usa estado de otimizador em camadas para reduzir a memória do treinamento MoE em 97%

Pesquisadores apresentam o SkewAdam, um otimizador projetado para modelos mixture-of-experts (MoE) que aloca diferentes tipos de estado para populações distintas de parâmetros, reduzindo drasticamente o uso de memória. Ao atribuir momento float32 e momentos segundos fatorados ao backbone, momentos segundos fatorados aos experts e momentos segundos exatos ao roteador, o SkewAdam reduz o estado do otimizador de 50,6 GB para 1,29 GB em um modelo com 6,78B de parâmetros.

github llama.cpp · há 7 h

llama.cpp b10078 refatora o manuseio de filas do Vulkan para contornar o mutex do lado do host

O projeto llama.cpp lançou a compilação b10078, que inclui uma refactorização significativa do backend do Vulkan para melhorar a eficiência da sincronização. A atualização integra suporte para VK_KHR_internally_synchronized_queues, permitindo que a biblioteca abstraia o envio de filas em uma interface polimórfica que contorna completamente o bloqueio do mutex do lado do host quando o driver suporta isso.

github llama.cpp · há 14 h

llama.cpp b10076 vetoriza get_rows com cópia int4 para aceleração de 27%

O projeto llama.cpp lançou a compilação b10076, que introduz uma otimização de desempenho no backend CUDA ao vetorizar a operação `get_rows` usando cópias int4. Essa mudança eleva o trabalho invariante à linha para fora do loop por elemento e adiciona um caminho vetorizado que copia 16 bytes por thread para dados contíguos do mesmo tipo.

media Hugging Face Forums · há 2 d · 1 visualização

Agentes de voz em produção com LLMs locais enfrentam latência persistente e limites de contexto

Uma equipe que executa dois agentes de voz em produção na Espanha usando Retell AI, Ollama e modelos locais em uma RTX 4000 Ada relata que, embora a qualidade da conversa tenha melhorado, o problema central de latência permanece sem solução. A principal restrição é um tempo limite de ~3 segundos do Retell AI; se o LLM não conseguir produzir um primeiro token dentro dessa janela, a conexão cai, levando ao encerramento da chamada após duas reconexões.