github llama.cpp · hace 1 h · inference

llama.cpp b10638 añade Vulkan cross_entropy_loss y lanza binarios

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10638, que implementa soporte de Vulkan para las funciones `cross_entropy_loss` y `cross_entropy_loss_back`.

El lanzamiento incluye binarios precompilados para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows (x64 y arm64), Android (arm64) y openEuler.
La aceleración de GPU está disponible a través de Vulkan, CUDA (12.4, 13.3, 13.4 preview), ROCm 7.14, OpenCL Adreno, SYCL y OpenVINO en las plataformas compatibles.
Las compilaciones de macOS Apple Silicon con KleidiAI están actualmente desactivadas en este lanzamiento.
También se proporciona un paquete de interfaz de usuario actualizado junto con los binarios principales.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10639 corrige la suposición del tamaño de warptile en Vulkan

El proyecto llama.cpp lanzó la compilación b10639, que incluye una corrección para el backend de Vulkan donde las warptiles asumían previamente que los tamaños de warp eran menores o iguales a 64. Este cambio limita el tamaño de warp para evitar problemas con warps más grandes.

media Hugging Face Forums · hace 2 h · 1 vista

Celestium Neon corrige el OOM de SDXL en GPUs de 4 GB limpiando la VRAM

Celestium Neon es una nueva herramienta diseñada para limpiar la VRAM y permitir la inferencia de Stable Diffusion XL (SDXL) en tarjetas gráficas con solo 4 GB de memoria, como la GTX 1650.

github llama.cpp · hace 5 h · 1 vista

llama.cpp b10636 desactiva la compilación de la interfaz npm por defecto y limpia CI

El proyecto llama.cpp lanzó la versión b10636, que cambia el comportamiento predeterminado al compilar la interfaz web. La compilación de la interfaz basada en npm ahora está desactivada por defecto (LLAMA_BUILD_UI=OFF), y la interfaz se incrusta desde fuentes locales o descargas preconstruidas.

github llama.cpp · hace 6 h · 1 vista

llama.cpp b10635 desbloquea mmq para MoE en sm_60

El proyecto llama.cpp lanzó la versión b10635, que incluye actualizaciones específicas de soporte para CUDA. El cambio principal es el desbloqueo de la multiplicación de matrices de precisión mixta (mmq) para arquitecturas Mixture of Experts (MoE) en GPUs con capacidad de cómputo 6.0 (sm_60).

media Hugging Face Forums · hace 8 h · 1 vista

EdgeFirst publica un pipeline en Rust para validar modelos YOLO en 20 plataformas de borde

EdgeFirst ha publicado el EdgeFirst Model Zoo en Hugging Face, que incluye los modelos YOLOv5, YOLOv8, YOLO11 y YOLO26 validados en 20 plataformas de borde distintas. La validación se basa en un único pipeline en Rust que maneja la preprocesamiento DMA sin copias, la decodificación del modelo y el post-procesamiento directamente en el hardware objetivo.