github llama.cpp · há 1 h · inference

llama.cpp b10430 permite dispositivos igpu virtuais

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10430, que introduz suporte para dispositivos de GPU integrada (igpu) virtuais. Esta atualização também inclui comentários melhorados na base de código.

A versão fornece binários e frameworks para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu com CPU, Vulkan, OpenVINO, SYCL e ROCm desativado), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL e ROCm 7.14) e arquiteturas openEuler.

Esta atualização permite que os usuários executem o llama.cpp em sistemas que utilizam configurações de igpu virtual em uma ampla gama de sistemas operacionais e aceleradores de hardware.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10429 permite acessar /metrics e /slots durante llama_decode()

O projeto llama.cpp lançou a versão b10429, que modifica o servidor para permitir o acesso aos endpoints /metrics e /slots enquanto llama_decode() está em execução.

github llama.cpp · há 6 h

llama.cpp b10427 funde operações FFN SYCL para ganho de throughput de até 12,4%

O projeto llama.cpp lançou a versão b10427, que inclui uma otimização de desempenho para GPUs Intel Arc via SYCL. A atualização implementa a fusão das operações gate, up e GLU dentro da camada feed-forward densa (FFN) q4_K.

github llama.cpp · há 7 h · 1 visualização

llama.cpp b10425 funde a gravação de estado gated-delta-net para aceleração de +1,2%

O projeto llama.cpp lançou a versão b10425, que inclui uma porta da otimização SYCL para fundir a cópia de gravação de estado gated-delta-net.

arxiv arXiv cs.CL · há 10 h

Multiplicação de Matrizes Reduzida: Redução do Produto Matricial Adaptativo à Entrada para Inferência de LLMs

Pesquisadores propõem a Multiplicação de Matrizes Reduzida (RMM), um método de inferência adaptativo à entrada e sem treinamento que reduz os produtos matriciais dos Transformers ao selecionar fatias informativas ao longo das dimensões de contração, sem modificar os pesos do modelo. Sob um controle simples da taxa de retenção, o RMM oferece uma troca suave e previsível entre precisão e eficiência em modelos de linguagem que variam de 1B a 70B parâmetros.

github llama.cpp · há 15 h

llama.cpp b10418 adiciona suporte a memória fixa do host para SYCL

O projeto llama.cpp lançou a versão b10418, introduzindo suporte à memória fixa do host para melhorar o acesso à memória do Host para Dispositivo no SYCL. Esta atualização aborda problemas de segurança de threads na implementação do backend.