github llama.cpp · ahora mismo · inference

llama.cpp añade ajustes fa-vec para Apple M4 Pro

Traducido del English → Español

El proyecto llama.cpp ha añadido ajustes de vector de atención rápida (fa-vec) para la GPU Apple M4 Pro a través de una nueva contribución al backend Metal. Esta actualización sigue al trabajo previo para soportar GPUs adicionales de Apple y fue generada usando la herramienta `ggml-metal-tuning` en un MacBook Pro de 14 pulgadas de noviembre de 2024.

El proceso de ajuste se ejecutó con éxito en 1 hora, 13 minutos y 1 segundo sin otra carga del sistema.
La contribución soporta los tipos de datos f16 y q8_0 para la arquitectura M4 Pro.
Esta versión incluye binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenCL, ROCm, OpenVINO, SYCL) y openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Hardware & chips Inference efficiency

Leer original

llama.cpp b10643 añade soporte multi-NPU y backend Hexagon totalmente asíncrono

El proyecto llama.cpp lanzó la versión b10643, introduciendo soporte para dispositivos multi-NPU (IQ9, IQ10) y un backend completamente asíncrono para la arquitectura Hexagon.

media Hugging Face Forums · hace 2 d · 4 vistas

EdgeFirst publica un pipeline en Rust para validar modelos YOLO en 20 plataformas de borde

EdgeFirst ha publicado el EdgeFirst Model Zoo en Hugging Face, que incluye los modelos YOLOv5, YOLOv8, YOLO11 y YOLO26 validados en 20 plataformas de borde distintas. La validación se basa en un único pipeline en Rust que maneja la preprocesamiento DMA sin copias, la decodificación del modelo y el post-procesamiento directamente en el hardware objetivo.

github llama.cpp · hace 3 d · 2 vistas

llama.cpp b10628 añade soporte para transporte RPC de Apple RDMA

El proyecto llama.cpp ha lanzado la versión b10628, introduciendo soporte para Apple RDMA como mecanismo de transporte de llamada a procedimiento remoto (RPC).

lab OpenAI News · hace 3 d · 13 vistas

OpenAI informa de que el chip Jalapeño ofrece hasta 3,6 veces menor latencia y 1,9 veces mayor eficiencia

OpenAI ha publicado los resultados iniciales de rendimiento de Jalapeño, su primer chip de inferencia personalizado, demostrando ganancias significativas en velocidad y eficiencia energética en comparación con los sistemas comerciales existentes. La empresa afirma que la nueva arquitectura permite un mayor rendimiento y menor latencia simultáneamente, abordando una compensación común en el hardware actual.

github llama.cpp · hace 7 d · 16 vistas

llama.cpp b10534 añade puntos de conmutación por-HW CUDA para descodificación más rápida

El proyecto llama.cpp lanzó la compilación b10534, que introduce puntos de conmutación específicos del hardware para ajustar el cruce entre las rutas de vector y núcleo tensor durante la descodificación cuantizada en CUDA.