github llama.cpp · hace 1 h · inference

llama.cpp b10430 permite dispositivos igpu virtuales

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10430, que introduce soporte para dispositivos de GPU integrada (igpu) virtuales. Esta actualización también incluye comentarios mejorados dentro de la base de código.

La publicación proporciona binarios y marcos de trabajo para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu con CPU, Vulkan, OpenVINO, SYCL y ROCm deshabilitado), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL y ROCm 7.14) y arquitecturas openEuler.

Esta actualización permite a los usuarios ejecutar llama.cpp en sistemas que utilizan configuraciones de igpu virtual en una amplia gama de sistemas operativos y aceleradores de hardware.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10429 permite acceder a /metrics y /slots durante llama_decode()

El proyecto llama.cpp lanzó la versión b10429, que modifica el servidor para permitir el acceso a los puntos finales /metrics y /slots mientras llama_decode() está en ejecución.

github llama.cpp · hace 6 h

llama.cpp b10427 fusiona operaciones FFN SYCL para una ganancia de rendimiento de hasta el 12,4 %

El proyecto llama.cpp lanzó la versión b10427, que incluye una optimización de rendimiento para GPUs Intel Arc a través de SYCL. La actualización implementa la fusión de las operaciones gate, up y GLU dentro de la capa de red feed-forward densa (FFN) q4_K.

github llama.cpp · hace 7 h · 1 vista

llama.cpp b10425 fusiona la escritura de estado gated-delta-net para una aceleración del +1,2%

El proyecto llama.cpp ha lanzado la versión b10425, que incluye un puerto de la optimización SYCL para fusionar la copia de escritura de estado gated-delta-net.

arxiv arXiv cs.CL · hace 10 h

Multiplicación de matrices reducida: reducción adaptativa al entrada del producto matricial para inferencia de LLM

Los investigadores proponen la Multiplicación de Matrices Reducida (RMM), un método de inferencia sin entrenamiento y adaptativo a la entrada que reduce los productos matriciales de Transformers seleccionando fragmentos informativos a lo largo de las dimensiones de contracción, sin modificar los pesos del modelo. Bajo un control simple de la proporción de retención, RMM ofrece una compensación suave y predecible entre precisión y eficiencia en modelos de lenguaje que van desde 1B hasta 70B parámetros.

github llama.cpp · hace 15 h

llama.cpp b10418 añade soporte para memoria fija del host en SYCL

El proyecto llama.cpp lanzó la versión b10418, introduciendo soporte para memoria fija del host para mejorar el acceso a la memoria del Host al Dispositivo en SYCL. Esta actualización aborda problemas de seguridad de hilos dentro de la implementación del backend.