github llama.cpp · hace 2 h · inference

llama.cpp b10628 añade soporte para transporte RPC de Apple RDMA

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10628, introduciendo soporte para Apple RDMA como mecanismo de transporte de llamada a procedimiento remoto (RPC).

Añade Apple RDMA como opción de transporte RPC.
Elimina la microoptimización set_tensor y el fijado de sockets RPC por CR.
Elimina la funcionalidad de reconexión transparente.
Configura CI para activar compilaciones de Apple en cambios de RPC.
Proporciona binarios para macOS, iOS, Linux, Windows, Android y openEuler a través de CPU, GPU y backends de hardware especializado.

Importancia 1/3 Confianza 1/3 llama.cpp Hardware & chips Inference efficiency

Leer original

OpenAI informa de que el chip Jalapeño ofrece hasta 3,6 veces menor latencia y 1,9 veces mayor eficiencia

OpenAI ha publicado los resultados iniciales de rendimiento de Jalapeño, su primer chip de inferencia personalizado, demostrando ganancias significativas en velocidad y eficiencia energética en comparación con los sistemas comerciales existentes. La empresa afirma que la nueva arquitectura permite un mayor rendimiento y menor latencia simultáneamente, abordando una compensación común en el hardware actual.

github llama.cpp · hace 5 d · 13 vistas

llama.cpp b10534 añade puntos de conmutación por-HW CUDA para descodificación más rápida

El proyecto llama.cpp lanzó la compilación b10534, que introduce puntos de conmutación específicos del hardware para ajustar el cruce entre las rutas de vector y núcleo tensor durante la descodificación cuantizada en CUDA.

lab Hugging Face Blog · hace 8 d · 5 vistas

El asignador de GPU consciente de restricciones mejora la utilización y la salida ponderada por prioridad frente a FIFO

Se evaluó un asignador de GPU consciente de restricciones frente a un programador FIFO en siete escenarios, logrando hasta 33 puntos porcentuales más de utilización de GPU y hasta un 105 % más de salida ponderada por prioridad en hardware idéntico. El sistema trata la demanda de inferencia en tiempo real como una curva fluctuante en lugar de una reserva estática, permitiendo que trabajos similares a lotes llenen la capacidad durante los valles mientras respeta restricciones estrictas como bloques contiguos de GPU y no preemption.

media r/LocalLLaMA · hace 9 d · 19 vistas

NVIDIA sirve Qwen 3.8 2.4T en GB300 NVL72 a 4K tokens/s por GPU

NVIDIA ha demostrado servir el modelo de parámetros Qwen 3.8 2.4T con capacidades de razonamiento configurables en su plataforma de hardware GB300 NVL72.

github llama.cpp · hace 18 d · 15 vistas

llama.cpp b10306 añade ruta plana de GLU SYCL y consolida kernels

La versión b10306 de llama.cpp introduce optimizaciones de rendimiento para el backend SYCL, específicamente dirigidas a las operaciones de Unidad Lineal con Puerta (GLU). La actualización añade una ruta rápida contigua para las operaciones GLU fusionadas y consolida kernels previamente distintos para compartir un lanzador común.