Liquid AI a publié les points de contrôle des modèles de brouillon DSpark pour trois modèles de sa famille LFM2.5 : LFM2.5-1.2B-Instruct, LFM2.5-2.6B et LFM2.5-8B-A1B. Ces générateurs de brouillons ajoutent un chemin de décodage spéculatif aux modèles cibles existants, permettant à un brouillon d'environ 300 millions de paramètres de proposer un bloc de neuf tokens candidats que le modèle cible vérifie en un seul passage avant.
- Le système offre un décodage jusqu'à 3,18x plus rapide sur un H100 et jusqu'à 2,87x sur un MacBook Pro M4 Max sans modifier les sorties du modèle.
- En décodage glouton, la séquence émise est identique à celle du modèle cible exécuté seul, garantissant que la précision des benchmarks reste inchangée.
- DSpark combine une colonne vertébrale parallèle de style DFlash avec une tête séquentielle légère modélisée comme une chaîne de Markov et un vérificateur à planification de confiance.
- Les scénarios d'appel de fonctions multi-outils montrent une réduction moyenne de la latence de 57 % pour LFM2.5-2.6B, bien que les modèles MoE ne gagnent que 1,18x sur les puces Apple en raison des limites actuelles de l'implémentation.
- Les poids sont disponibles au format Safetensors et GGUF, avec un support dès le premier jour dans llama.cpp et SGLang.
Cette technologie permet aux développeurs de réduire considérablement la latence d'inférence pour les assistants de code locaux, les agents sur appareil et les copilots hors ligne tout en maintenant la confidentialité des données grâce à l'hébergement autonome.