github llama.cpp · há 1 h · inference

llama.cpp b10429 permite acessar /metrics e /slots durante llama_decode()

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10429, que modifica o servidor para permitir o acesso aos endpoints /metrics e /slots enquanto llama_decode() está em execução.

A alteração atualiza server_queue::worker para chamar llama_decode dentro de yield_to_queue.
Ela também processa process_mtmd_chunk durante esta operação.
Os binários estão disponíveis para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

Esta atualização melhora a capacidade de resposta do servidor ao evitar o bloqueio dos endpoints durante a inferência do modelo.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10430 permite dispositivos igpu virtuais

O projeto llama.cpp lançou a versão b10430, que introduz suporte para dispositivos de GPU integrada (igpu) virtuais. Esta atualização também inclui comentários melhorados na base de código.

github llama.cpp · há 6 h

llama.cpp b10427 funde operações FFN SYCL para ganho de throughput de até 12,4%

O projeto llama.cpp lançou a versão b10427, que inclui uma otimização de desempenho para GPUs Intel Arc via SYCL. A atualização implementa a fusão das operações gate, up e GLU dentro da camada feed-forward densa (FFN) q4_K.

github llama.cpp · há 8 h · 1 visualização

llama.cpp b10425 funde a gravação de estado gated-delta-net para aceleração de +1,2%

O projeto llama.cpp lançou a versão b10425, que inclui uma porta da otimização SYCL para fundir a cópia de gravação de estado gated-delta-net.

arxiv arXiv cs.CL · há 11 h

Multiplicação de Matrizes Reduzida: Redução do Produto Matricial Adaptativo à Entrada para Inferência de LLMs

Pesquisadores propõem a Multiplicação de Matrizes Reduzida (RMM), um método de inferência adaptativo à entrada e sem treinamento que reduz os produtos matriciais dos Transformers ao selecionar fatias informativas ao longo das dimensões de contração, sem modificar os pesos do modelo. Sob um controle simples da taxa de retenção, o RMM oferece uma troca suave e previsível entre precisão e eficiência em modelos de linguagem que variam de 1B a 70B parâmetros.

github llama.cpp · há 16 h

llama.cpp b10418 adiciona suporte a memória fixa do host para SYCL

O projeto llama.cpp lançou a versão b10418, introduzindo suporte à memória fixa do host para melhorar o acesso à memória do Host para Dispositivo no SYCL. Esta atualização aborda problemas de segurança de threads na implementação do backend.