github llama.cpp · il y a 1 h · inference

llama.cpp b10639 corrige l'hypothèse de taille de warptile dans Vulkan

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10639, qui inclut une correction pour le backend Vulkan où les warptiles supposaient précédemment que les tailles de warp étaient inférieures ou égales à 64. Ce changement limite la taille du warp pour contourner les problèmes avec des warps plus grands.

La version fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) et openEuler. Elle inclut également l'interface llama.cpp UI.

Cette mise à jour assure la compatibilité avec les configurations matérielles utilisant des tailles de warp supérieures à 64.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

EdgeFirst publie un pipeline Rust validant les modèles YOLO sur 20 plateformes edge

EdgeFirst a publié le EdgeFirst Model Zoo sur Hugging Face, présentant les modèles YOLOv5, YOLOv8, YOLO11 et YOLO26 validés sur 20 plateformes edge distinctes. La validation repose sur un pipeline Rust unique qui gère le prétraitement DMA sans copie, le décodage du modèle et le post-traitement directement sur le matériel cible.

lab Hugging Face Blog · il y a 1 j · 1 vue

Papers with Code utilise les services de Hugging Face pour une recherche hybride d'articles

Papers with Code a mis en place un système de recherche hybride combinant le retour par mots-clés et la récupération sémantique afin d'aider les utilisateurs à trouver des articles de recherche pertinents sur l'IA. L'architecture exploite Hugging Face Jobs, Storage Buckets et Inference Endpoints pour gérer le pipeline d'embedding et servir des requêtes à faible latence.

github llama.cpp · il y a 1 j · 21 vues

llama.cpp 0.3.0 ajoute le modèle dots3-note et la répartition de tenseur pour DeepSeek 4

llama.cpp 0.3.0 introduit la prise en charge du modèle multimodal dots3-note avec un nouveau type de cache KV DSA-ISWA, ainsi que la prise en charge de la prédiction multi-tokens (MTP) pour GLM-4.5-Air. La version ajoute également des capacités de répartition de tenseur pour DeepSeek 4 et corrige les problèmes de rollback multi-séquences.

github llama.cpp · il y a 2 j · 4 vues

llama.cpp b10615 ajoute vec flash-attn ajusté par appareil pour Metal

Le projet llama.cpp a publié la version b10615, introduisant des opérations vectorielles flash-attention quantifiées (Q, NE) ajustées par appareil pour le backend Metal.

github llama.cpp · il y a 2 j · 1 vue

llama.cpp b10614 ajoute la division des sources par opération Metal et la compilation parallèle

La version llama.cpp b10614 introduit un changement architectural significatif pour le backend Metal en divisant les sources des opérations et en activant la compilation parallèle. Cette mise à jour comprend également plusieurs nouvelles implémentations de noyaux et le support pour des formats de quantification supplémentaires.