github llama.cpp · há 1 h · inference

llama.cpp b10081 resolve o repositório de rascunho para seu sidecar solicitado

Traduzido do English → Português (BR)

A versão llama.cpp b10081 corrige um bug onde a flag `--hfd` apontava para um repositório contendo sidecars especulativos, mas o plano de rascunho resolvia incorretamente para o modelo principal em vez do sidecar. Isso ocorreu porque `find_best_model()` excluía arquivos de sidecar e o plano de rascunho explícito suprimia a descoberta de sidecars.

A correção conecta os sidecars descobertos como o rascunho, seguindo o padrão de fallback do plano principal, permitindo que comandos como `llama-server -hf repo -hfd repo --spec-type draft-dflash` funcionem conforme esperado.

Esta versão inclui binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10080 corrige falha no servidor e erro de validação da UI

A versão llama.cpp b10080 aborda dois bugs específicos nos componentes do servidor e da interface do usuário. O servidor agora retorna corretamente um código de status 400 em vez de falhar com um erro 500 quando a validação falha para solicitações contendo o cabeçalho X-Conversation-Id. Além disso, a UI não envia mais o placeholder backend_sampling, que anteriormente causava falhas na validação de conclusões com configurações padrão.

arxiv arXiv cs.LG · há 6 h

SkewAdam usa estado de otimizador em camadas para reduzir a memória do treinamento MoE em 97%

Pesquisadores apresentam o SkewAdam, um otimizador projetado para modelos mixture-of-experts (MoE) que aloca diferentes tipos de estado para populações distintas de parâmetros, reduzindo drasticamente o uso de memória. Ao atribuir momento float32 e momentos segundos fatorados ao backbone, momentos segundos fatorados aos experts e momentos segundos exatos ao roteador, o SkewAdam reduz o estado do otimizador de 50,6 GB para 1,29 GB em um modelo com 6,78B de parâmetros.

github llama.cpp · há 8 h

llama.cpp b10078 refatora o manuseio de filas do Vulkan para contornar o mutex do lado do host

O projeto llama.cpp lançou a compilação b10078, que inclui uma refactorização significativa do backend do Vulkan para melhorar a eficiência da sincronização. A atualização integra suporte para VK_KHR_internally_synchronized_queues, permitindo que a biblioteca abstraia o envio de filas em uma interface polimórfica que contorna completamente o bloqueio do mutex do lado do host quando o driver suporta isso.

github llama.cpp · há 15 h

llama.cpp b10076 vetoriza get_rows com cópia int4 para aceleração de 27%

O projeto llama.cpp lançou a compilação b10076, que introduz uma otimização de desempenho no backend CUDA ao vetorizar a operação `get_rows` usando cópias int4. Essa mudança eleva o trabalho invariante à linha para fora do loop por elemento e adiciona um caminho vetorizado que copia 16 bytes por thread para dados contíguos do mesmo tipo.

media Hugging Face Forums · há 2 d · 1 visualização

Agentes de voz em produção com LLMs locais enfrentam latência persistente e limites de contexto

Uma equipe que executa dois agentes de voz em produção na Espanha usando Retell AI, Ollama e modelos locais em uma RTX 4000 Ada relata que, embora a qualidade da conversa tenha melhorado, o problema central de latência permanece sem solução. A principal restrição é um tempo limite de ~3 segundos do Retell AI; se o LLM não conseguir produzir um primeiro token dentro dessa janela, a conexão cai, levando ao encerramento da chamada após duas reconexões.