lab Liquid AI · à l'instant · releases

Liquid AI publie le modèle brouillon DSpark pour LFM2.5-VL-3B

Traduit de English → Français

Liquid AI a publié un modèle brouillon expérimental DSpark pour son modèle de vision-langage LFM2.5-VL-3B, permettant un décodage plus rapide sur les appareils edge et les GPU sans changer la qualité de sortie.

Le drafter ajoute environ 8,9% au nombre de paramètres du modèle déployé et atteint des améliorations de débit de décodage jusqu'à 2,66x sur les GPU H100 et 3,13x sur les appareils edge Apple Silicon.

Les gains de débit de bout en bout atteignent 2,27x sur les GPU et 2,62x sur le matériel edge, le système maintenant un avantage de débit à travers différents niveaux de concurrence dans SGLang.

Les auteurs notent que le décodage spéculatif n'accélère que la phase de décodage, ce qui signifie que les coûts d'encodage visuel et de préremplissage restent inchangés, limitant ainsi les améliorations globales de latence sur les appareils edge à ressources limitées.

Importance 1/3 Confiance 1/3 Liquid AI Inference efficiency Multimodal

Lire l'original

DeepSeek lance V4.1-Flash avec une empreinte de cache KV de 890 octets/token

DeepSeek a publié DeepSeek-V4.1-Flash, un modèle Mixture-of-Experts multimodal conçu pour répondre aux coûts élevés du calcul de contexte long et des grands caches KV dans les charges de travail d'agents.

github llama.cpp · il y a 20 j · 66 vues

llama.cpp 0.4.0 ajoute le support de Qwen3.8-Flash-Next et Nemotron-3-Puzzle

llama.cpp version 0.4.0 introduit le support d'architecture initial pour les modèles Qwen3.8-Flash-Next et NVIDIA Nemotron-3-Puzzle-75B-A9B, ainsi qu'une mise à jour de la bibliothèque sous-jacente ggml vers la version 0.23.0.

github llama.cpp · il y a 30 j · 80 vues

llama.cpp 0.3.0 ajoute le modèle dots3-note et la répartition de tenseur pour DeepSeek 4

llama.cpp 0.3.0 introduit la prise en charge du modèle multimodal dots3-note avec un nouveau type de cache KV DSA-ISWA, ainsi que la prise en charge de la prédiction multi-tokens (MTP) pour GLM-4.5-Air. La version ajoute également des capacités de répartition de tenseur pour DeepSeek 4 et corrige les problèmes de rollback multi-séquences.

media Hugging Face Forums · il y a 31 j · 44 vues

GGUF de Nemotron-3-Omni de NVIDIA avec audio + vidéo fonctionnels dans llama.cpp (9 quantisations testées, A/V en un seul passage)

Un développeur a publié un package GGUF complet pour le modèle Nemotron-3-Nano-Omni-30B de NVIDIA, ajoutant le support audio et vidéo précédemment manquant à l'écosystème llama.cpp. La publication comprend neuf quantisations allant de Q3_K_M à BF16 et un fichier de projecteur unifié qui intègre les encodeurs visuels C-RADIO et audio Parakeet.

media Hugging Face Forums · il y a 31 j · 39 vues

Un GGUF unifié et un fork de llama.cpp permettent l'audio et la vidéo pour Nemotron-3-Nano-Omni

L'auteur traite des échecs silencieux dans les versions populaires de Nemotron-3-Nano-Omni-30B au format GGUF, où les entrées audio et vidéo étaient ignorées en raison de fichiers projecteurs incomplets et de graphes d'inférence manquants. Pour résoudre ce problème, un fichier mmproj unifié contenant la tour visuelle, l'encodeur audio Parakeet/FastConformer complet et l'intégrateur vidéo temporel a été publié aux côtés d'un fork spécialisé de llama.cpp.