github llama.cpp · há 1 h · inference

llama.cpp b10182 move o tratamento de suppress_tokens para common/sampling

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10182, que inclui uma mudança estrutural na forma como a supressão de tokens é gerenciada. A modificação principal envolve mover a lógica de tratamento do `suppress_tokens` para o módulo `common/sampling`.

O recurso `has_logit_bias` foi removido da base de código.
O lançamento aborda problemas de segurança relacionados à implementação anterior.
Binários estão disponíveis para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, OpenVINO, SYCL, HIP) e openEuler.

Esta atualização consolida a lógica de amostragem e resolve preocupações específicas de segurança dentro do mecanismo de supressão de tokens.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10180 adiciona caminho rápido contíguo e matemática de índice de 32 bits para operações unárias SYCL

O projeto llama.cpp lançou a compilação b10180, introduzindo otimizações de desempenho para o backend SYCL. A atualização implementa um caminho rápido contíguo e altera a matemática de índice elemento a elemento para usar fastdiv com inteiros de 32 bits.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10181 desativa MMQ em dispositivos com menos de 48 KiB de memória compartilhada

O projeto llama.cpp lançou a compilação b10181, que inclui uma correção em ggml-cuda para desativar a Quantização de Multiplicação de Matrizes (MMQ) em GPUs com menos de 48 KiB de memória compartilhada por bloco. Anteriormente, as configurações de MMQ assumiam um mínimo de 48 KiB, causando erros fatais em dispositivos como as GPUs NVIDIA Pascal e Moore Threads MTT S70, onde o tamanho do tile excedia a memória disponível.

media Hugging Face Forums · há 4 h

Jason Van Pham documenta degeneração gulosa multi-turno do Gemma 4 sob restrições em nível de letra

Jason Van Pham e o co-engenheiro Grok (xAI) publicaram um relatório de diagnóstico detalhando um modo de falha multi-turno quase padrão no harness Hydrodynamic Swarm ao usar um caminho instrucional personalizado do Gemma 4. O estudo identifica que combinar decodificação gulosa com orçamentos longos de tokens e restrições em nível de letra desencadeia degeneração clássica de texto, incluindo repetição e lixo ortográfico.

media Hugging Face Forums · há 5 h

Hugging Face corrige DynamicCache para evitar saída incorreta em generate()

Um bug na função `generate()` do Hugging Face causa saídas incorretas quando `past_key_values` é um `DynamicCache` construído externamente. Este problema afeta métodos de compressão de cache KV como SnapKV, H2O e KIVI que reconstruem caches a partir de dados de prefill. A causa raiz é a falha em propagar o contexto posicional, levando a uma perda de precisão de 10,7pp no Qwen3-VL-8B.

github llama.cpp · há 6 h · 1 visualização

llama.cpp b10178 adiciona registro de rastreamento para verificação de similaridade de slots

O projeto llama.cpp lançou a compilação b10178, que introduz registro de rastreamento para verificação de similaridade de slots dentro do componente do servidor. Esta atualização adiciona registro detalhado em `server-context.cpp` durante a seleção de slot de cache de prompts, capturando especificamente motivos de salto e detalhes do cálculo de similaridade.