github llama.cpp · ahora mismo · inference

llama.cpp b10643 añade soporte multi-NPU y backend Hexagon totalmente asíncrono

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10643, introduciendo soporte para dispositivos multi-NPU (IQ9, IQ10) y un backend completamente asíncrono para la arquitectura Hexagon.

El backend de Hexagon ahora utiliza búferes no host por defecto e implementa asincronicidad completa.
Se añade soporte para la plataforma Snapdragon Android 34.
La cuantización Q8_0 gana soporte para desquantizadores in-place, pipelines DMA y operaciones por fila.
Las operaciones ALLREDUCE se optimizan con núcleos fusionados y mayor eficiencia de DMA.
Los mecanismos de tokens de sincronización y vallas (fence) se mejoran para sincronizar dispositivos NPU entre divisiones asíncronas.

Estos cambios permiten una inferencia eficiente en hardware Snapdragon multi-NPU al permitir la ejecución concurrente de dispositivos y copias de tensores más rápidas.

Importancia 1/3 Confianza 1/3 llama.cpp Hardware & chips Inference efficiency

Leer original

EdgeFirst publica un pipeline en Rust para validar modelos YOLO en 20 plataformas de borde

EdgeFirst ha publicado el EdgeFirst Model Zoo en Hugging Face, que incluye los modelos YOLOv5, YOLOv8, YOLO11 y YOLO26 validados en 20 plataformas de borde distintas. La validación se basa en un único pipeline en Rust que maneja la preprocesamiento DMA sin copias, la decodificación del modelo y el post-procesamiento directamente en el hardware objetivo.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b10628 añade soporte para transporte RPC de Apple RDMA

El proyecto llama.cpp ha lanzado la versión b10628, introduciendo soporte para Apple RDMA como mecanismo de transporte de llamada a procedimiento remoto (RPC).

lab OpenAI News · hace 2 d · 8 vistas

OpenAI informa de que el chip Jalapeño ofrece hasta 3,6 veces menor latencia y 1,9 veces mayor eficiencia

OpenAI ha publicado los resultados iniciales de rendimiento de Jalapeño, su primer chip de inferencia personalizado, demostrando ganancias significativas en velocidad y eficiencia energética en comparación con los sistemas comerciales existentes. La empresa afirma que la nueva arquitectura permite un mayor rendimiento y menor latencia simultáneamente, abordando una compensación común en el hardware actual.

github llama.cpp · hace 6 d · 14 vistas

llama.cpp b10534 añade puntos de conmutación por-HW CUDA para descodificación más rápida

El proyecto llama.cpp lanzó la compilación b10534, que introduce puntos de conmutación específicos del hardware para ajustar el cruce entre las rutas de vector y núcleo tensor durante la descodificación cuantizada en CUDA.

lab Hugging Face Blog · hace 9 d · 6 vistas

El asignador de GPU consciente de restricciones mejora la utilización y la salida ponderada por prioridad frente a FIFO

Se evaluó un asignador de GPU consciente de restricciones frente a un programador FIFO en siete escenarios, logrando hasta 33 puntos porcentuales más de utilización de GPU y hasta un 105 % más de salida ponderada por prioridad en hardware idéntico. El sistema trata la demanda de inferencia en tiempo real como una curva fluctuante en lugar de una reserva estática, permitiendo que trabajos similares a lotes llenen la capacidad durante los valles mientras respeta restricciones estrictas como bloques contiguos de GPU y no preemption.