github llama.cpp · il y a 8 h · inference

llama.cpp b10655 ajoute le support de LIGHTNING_INDEXER pour les opérations Deepseek V4 sur Vulkan

Traduit de English → Français

Le projet llama.cpp a publié la version b10655, qui introduit le support de l'opération LIGHTNING_INDEXER dans le backend Vulkan pour permettre les opérations Deepseek V4.

Ajout de l'opération LIGHTNING_INDEXer au backend Vulkan.
Mise à jour de lightning_indexer.comp et ggml-vulkan.cpp pour déplacer la réduction de produit scalaire 128 voies d'un arbre de mémoire partagée vers subgroupAdd.
Inclusion de modifications de nettoyage telles que le saut des vérifications de limites et la restauration des modifications précédentes de FA_K_ONLY.
Restauration de l'ordre entrelacé du tampon K/V et suppression de la logique FA_K_ONLY.

Cette mise à jour permet aux utilisateurs de Vulkan d'exécuter les opérations Deepseek V4 en utilisant la nouvelle implémentation de LIGHTNING_INDEXER.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp ajoute le support de l'architecture Qwen3.8-Flash-Next (qwen4exp)

Le projet llama.cpp a ajouté le support de l'architecture du modèle Qwen3.8-Flash-Next (qwen4exp), en implémentant ses composants spécifiques, notamment les hyperconnexions, les réseaux delta à gâchette, le Mélange d'Experts et les embeddings de hachage n-gramme PLE.

github llama.cpp · il y a 8 h · 3 vues

llama.cpp b10653 ajoute TENSOR_READ_LAZY pour le chargement de modèles

Le projet llama.cpp a publié la compilation b10653, introduisant la fonctionnalité TENSOR_READ_LAZY dans son chargeur de modèles. Ce changement inclut l'ajout de la fonction TENSOR_GET_ROW_LAZY et un drapeau correspondant --tensor-read-lazy en ligne de commande.

github llama.cpp · il y a 1 j · 6 vues

llama.cpp b10639 corrige l'hypothèse de taille de warptile dans Vulkan

Le projet llama.cpp a publié la compilation b10639, qui inclut une correction pour le backend Vulkan où les warptiles supposaient précédemment que les tailles de warp étaient inférieures ou égales à 64. Ce changement limite la taille du warp pour contourner les problèmes avec des warps plus grands.

media Hugging Face Forums · il y a 1 j · 4 vues

EdgeFirst publie un pipeline Rust validant les modèles YOLO sur 20 plateformes edge

EdgeFirst a publié le EdgeFirst Model Zoo sur Hugging Face, présentant les modèles YOLOv5, YOLOv8, YOLO11 et YOLO26 validés sur 20 plateformes edge distinctes. La validation repose sur un pipeline Rust unique qui gère le prétraitement DMA sans copie, le décodage du modèle et le post-traitement directement sur le matériel cible.

lab Hugging Face Blog · il y a 2 j · 1 vue

Papers with Code utilise les services de Hugging Face pour une recherche hybride d'articles

Papers with Code a mis en place un système de recherche hybride combinant le retour par mots-clés et la récupération sémantique afin d'aider les utilisateurs à trouver des articles de recherche pertinents sur l'IA. L'architecture exploite Hugging Face Jobs, Storage Buckets et Inference Endpoints pour gérer le pipeline d'embedding et servir des requêtes à faible latence.