github llama.cpp · ahora mismo · inference

llama.cpp b10675 añade soporte de hoisting para IDs de fila y conteo de expertos en shaders

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10675, que incluye una actualización clave a su backend Vulkan. Esta versión añade soporte de hoisting para IDs de fila y conteos de expertos dentro del código del shader.

La implementación utiliza IDs de fila elevados en coopmat2.
Aborda los comentarios de revisión sobre count_experts utilizando vk_op_count_experts_push_constants en lugar de vectores uint crudos.
El truco fastdiv se aplica a la operación div/mod ne00 en count_experts.
Los desplazamientos por experto se calculan con subgroupExclusiveAdd donde sea compatible, manteniendo un camino serial como respaldo.

Esta actualización proporciona compilaciones Vulkan optimizadas para macOS, Linux, Windows y Android en varios backends de hardware, incluyendo CUDA, ROCm y OpenCL.

Importancia 1/3 Confianza 1/3 llama.cpp Hardware & chips Inference efficiency

Leer original

llama.cpp añade ajustes fa-vec para Apple M4 Pro

El proyecto llama.cpp ha añadido ajustes de vector de atención rápida (fa-vec) para la GPU Apple M4 Pro a través de una nueva contribución al backend Metal. Esta actualización sigue al trabajo previo para soportar GPUs adicionales de Apple y fue generada usando la herramienta `ggml-metal-tuning` en un MacBook Pro de 14 pulgadas de noviembre de 2024.

github llama.cpp · hace 2 d · 4 vistas

llama.cpp b10643 añade soporte multi-NPU y backend Hexagon totalmente asíncrono

El proyecto llama.cpp lanzó la versión b10643, introduciendo soporte para dispositivos multi-NPU (IQ9, IQ10) y un backend completamente asíncrono para la arquitectura Hexagon.

media Hugging Face Forums · hace 2 d · 4 vistas

EdgeFirst publica un pipeline en Rust para validar modelos YOLO en 20 plataformas de borde

EdgeFirst ha publicado el EdgeFirst Model Zoo en Hugging Face, que incluye los modelos YOLOv5, YOLOv8, YOLO11 y YOLO26 validados en 20 plataformas de borde distintas. La validación se basa en un único pipeline en Rust que maneja la preprocesamiento DMA sin copias, la decodificación del modelo y el post-procesamiento directamente en el hardware objetivo.

github llama.cpp · hace 3 d · 2 vistas

llama.cpp b10628 añade soporte para transporte RPC de Apple RDMA

El proyecto llama.cpp ha lanzado la versión b10628, introduciendo soporte para Apple RDMA como mecanismo de transporte de llamada a procedimiento remoto (RPC).

lab OpenAI News · hace 3 d · 13 vistas

OpenAI informa de que el chip Jalapeño ofrece hasta 3,6 veces menor latencia y 1,9 veces mayor eficiencia

OpenAI ha publicado los resultados iniciales de rendimiento de Jalapeño, su primer chip de inferencia personalizado, demostrando ganancias significativas en velocidad y eficiencia energética en comparación con los sistemas comerciales existentes. La empresa afirma que la nueva arquitectura permite un mayor rendimiento y menor latencia simultáneamente, abordando una compensación común en el hardware actual.