github llama.cpp · hace 1 h · inference

llama.cpp b10429 permite acceder a /metrics y /slots durante llama_decode()

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10429, que modifica el servidor para permitir el acceso a los puntos finales /metrics y /slots mientras llama_decode() está en ejecución.

El cambio actualiza server_queue::worker para llamar a llama_decode dentro de yield_to_queue.
También maneja process_mtmd_chunk durante esta operación.
Los binarios están disponibles para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) y openEuler.

Esta actualización mejora la capacidad de respuesta del servidor al evitar el bloqueo de los puntos finales durante la inferencia del modelo.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10430 permite dispositivos igpu virtuales

El proyecto llama.cpp ha lanzado la versión b10430, que introduce soporte para dispositivos de GPU integrada (igpu) virtuales. Esta actualización también incluye comentarios mejorados dentro de la base de código.

github llama.cpp · hace 6 h

llama.cpp b10427 fusiona operaciones FFN SYCL para una ganancia de rendimiento de hasta el 12,4 %

El proyecto llama.cpp lanzó la versión b10427, que incluye una optimización de rendimiento para GPUs Intel Arc a través de SYCL. La actualización implementa la fusión de las operaciones gate, up y GLU dentro de la capa de red feed-forward densa (FFN) q4_K.

github llama.cpp · hace 8 h · 1 vista

llama.cpp b10425 fusiona la escritura de estado gated-delta-net para una aceleración del +1,2%

El proyecto llama.cpp ha lanzado la versión b10425, que incluye un puerto de la optimización SYCL para fusionar la copia de escritura de estado gated-delta-net.

arxiv arXiv cs.CL · hace 11 h

Multiplicación de matrices reducida: reducción adaptativa al entrada del producto matricial para inferencia de LLM

Los investigadores proponen la Multiplicación de Matrices Reducida (RMM), un método de inferencia sin entrenamiento y adaptativo a la entrada que reduce los productos matriciales de Transformers seleccionando fragmentos informativos a lo largo de las dimensiones de contracción, sin modificar los pesos del modelo. Bajo un control simple de la proporción de retención, RMM ofrece una compensación suave y predecible entre precisión y eficiencia en modelos de lenguaje que van desde 1B hasta 70B parámetros.

github llama.cpp · hace 16 h

llama.cpp b10418 añade soporte para memoria fija del host en SYCL

El proyecto llama.cpp lanzó la versión b10418, introduciendo soporte para memoria fija del host para mejorar el acceso a la memoria del Host al Dispositivo en SYCL. Esta actualización aborda problemas de seguridad de hilos dentro de la implementación del backend.