github llama.cpp · à l'instant · inference

llama.cpp b10665 ajoute le support de DSpark pour Nemotron3.5

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10665, qui introduit le support de DSpark pour le modèle Nemotron3.5.

Ajoute le support de DSpark pour Nemotron3.5 via des mises à jour de src/models/dflash.cpp.
Fournit des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu avec CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) et openEuler.

Cette version permet aux utilisateurs d'exécuter des modèles Nemotron3.5 au format DSpark sur une large gamme d'architectures matérielles et de systèmes d'exploitation.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp ajoute le support de l'architecture Qwen3.8-Flash-Next (qwen4exp)

Le projet llama.cpp a ajouté le support de l'architecture du modèle Qwen3.8-Flash-Next (qwen4exp), en implémentant ses composants spécifiques, notamment les hyperconnexions, les réseaux delta à gâchette, le Mélange d'Experts et les embeddings de hachage n-gramme PLE.

github llama.cpp · il y a 10 h · 4 vues

llama.cpp b10653 ajoute TENSOR_READ_LAZY pour le chargement de modèles

Le projet llama.cpp a publié la compilation b10653, introduisant la fonctionnalité TENSOR_READ_LAZY dans son chargeur de modèles. Ce changement inclut l'ajout de la fonction TENSOR_GET_ROW_LAZY et un drapeau correspondant --tensor-read-lazy en ligne de commande.

github llama.cpp · il y a 10 h · 3 vues

llama.cpp b10655 ajoute le support de LIGHTNING_INDEXER pour les opérations Deepseek V4 sur Vulkan

Le projet llama.cpp a publié la version b10655, qui introduit le support de l'opération LIGHTNING_INDEXER dans le backend Vulkan pour permettre les opérations Deepseek V4.

github llama.cpp · il y a 1 j · 6 vues

llama.cpp b10639 corrige l'hypothèse de taille de warptile dans Vulkan

Le projet llama.cpp a publié la compilation b10639, qui inclut une correction pour le backend Vulkan où les warptiles supposaient précédemment que les tailles de warp étaient inférieures ou égales à 64. Ce changement limite la taille du warp pour contourner les problèmes avec des warps plus grands.

media Hugging Face Forums · il y a 2 j · 4 vues

EdgeFirst publie un pipeline Rust validant les modèles YOLO sur 20 plateformes edge

EdgeFirst a publié le EdgeFirst Model Zoo sur Hugging Face, présentant les modèles YOLOv5, YOLOv8, YOLO11 et YOLO26 validés sur 20 plateformes edge distinctes. La validation repose sur un pipeline Rust unique qui gère le prétraitement DMA sans copie, le décodage du modèle et le post-traitement directement sur le matériel cible.