github llama.cpp · il y a 1 h · inference

llama.cpp b10638 ajoute Vulkan cross_entropy_loss et publie des binaires

Traduit de English → Français

Le projet llama.cpp a publié la version b10638, qui implémente le support de Vulkan pour les fonctions `cross_entropy_loss` et `cross_entropy_loss_back`.

La publication inclut des binaires préconstruits pour macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x), Windows (x64 et arm64), Android (arm64) et openEuler.
L'accélération GPU est disponible via Vulkan, CUDA (12.4, 13.3, 13.4 preview), ROCm 7.14, OpenCL Adreno, SYCL et OpenVINO sur les plateformes prises en charge.
Les builds macOS Apple Silicon avec KleidiAI sont actuellement désactivés dans cette publication.
Un package d'interface utilisateur mis à jour est également fourni aux côtés des binaires principaux.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10639 corrige l'hypothèse de taille de warptile dans Vulkan

Le projet llama.cpp a publié la compilation b10639, qui inclut une correction pour le backend Vulkan où les warptiles supposaient précédemment que les tailles de warp étaient inférieures ou égales à 64. Ce changement limite la taille du warp pour contourner les problèmes avec des warps plus grands.

media Hugging Face Forums · il y a 2 h · 1 vue

Celestium Neon corrige l'OOM de SDXL sur les GPU de 4 Go en nettoyant la VRAM

Celestium Neon est un nouvel outil conçu pour nettoyer la VRAM et permettre l'inférence de Stable Diffusion XL (SDXL) sur des cartes graphiques disposant de seulement 4 Go de mémoire, comme la GTX 1650.

github llama.cpp · il y a 5 h · 1 vue

llama.cpp b10636 désactive la compilation de l'interface npm par défaut et nettoie le CI

Le projet llama.cpp a publié la version b10636, qui modifie le comportement par défaut lors de la compilation de l'interface web. La compilation de l'interface basée sur npm est désormais désactivée par défaut (LLAMA_BUILD_UI=OFF), l'interface étant intégrée à partir de sources locales ou de téléchargements précompilés.

github llama.cpp · il y a 6 h · 1 vue

llama.cpp b10635 débloque mmq pour MoE sur sm_60

Le projet llama.cpp a publié la version b10635, qui inclut des mises à jour spécifiques du support CUDA. Le changement principal est le déblocage de la multiplication matricielle en précision mixte (mmq) pour les architectures Mixture of Experts (MoE) sur les GPU de capacité de calcul 6.0 (sm_60).

media Hugging Face Forums · il y a 8 h · 1 vue

EdgeFirst publie un pipeline Rust validant les modèles YOLO sur 20 plateformes edge

EdgeFirst a publié le EdgeFirst Model Zoo sur Hugging Face, présentant les modèles YOLOv5, YOLOv8, YOLO11 et YOLO26 validés sur 20 plateformes edge distinctes. La validation repose sur un pipeline Rust unique qui gère le prétraitement DMA sans copie, le décodage du modèle et le post-traitement directement sur le matériel cible.