github llama.cpp · il y a 1 j · inference

llama.cpp b10355 ajoute l'échantillonnage backend multi-sortie avec spéculation de tokens

Traduit de English → Français

Le projet llama.cpp a publié la version b10355, introduisant le support de l'échantillonnage backend multi-sortie. Cette mise à jour permet de combiner l'échantillonnage backend avec la spéculation de tokens et ajoute un paramètre de contexte numérique pour déclarer le nombre maximum de sorties par séquence.

Activer l'échantillonnage backend avec spéculation de tokens
Limiter la somme du masque avant de le convertir en index échantillonné
Ajouter un paramètre de contexte numérique déclarant les sorties maximales par une séquence
Corriger les incohérences entre l'échantillonnage CPU et backend, et aligner la distribution (dist) entre CPU et GPU
Simplifier les modifications et corriger les tests sur Vulkan

La version fournit des binaires pour macOS, iOS, Linux, Android, Windows et openEuler via divers backends matériels incluant CPU, CUDA, ROCm, OpenVINO, SYCL, HIP et Vulkan.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10361 corrige SWA pour EXAONE 4.5 et ignore TENSOR_SKIP dans le chemin des métadonnées

La version b10361 de llama.cpp corrige un bug critique où l'attention à fenêtre glissante (SWA) n'était pas activée pour le modèle LGAI-EXAONE 4.5 en raison d'un ordre incorrect des paramètres lors du chargement.

lab Hugging Face Blog · il y a 11 h

ALTK-Evolve atteint une précision égale ou supérieure à celle d'ACE pour une fraction du coût d'inférence

ALTK-Evolve, un système de mémoire agentique qui convertit les trajectoires des agents en directives réutilisables sans mise à jour des poids, égale ou dépasse la précision d'ACE tout en utilisant significativement moins de tokens. Contrairement à ACE, qui injecte un manuel complet à chaque étape, ALTK-Evolve utilise une récupération sélective pour fournir uniquement les directives pertinentes en fonction de la capacité du modèle.

github vLLM · il y a 14 h

vLLM v0.27.1 ajoute le support des têtes DSpark Markov quantisées

vLLM a publié la version 0.27.1, une mise à jour correctrice basée sur la précédente version v0.27.0.

lab NVIDIA Research · il y a 15 h · 10 vues

DSTP atténue les échecs de l'élagage des tokens visuels dans le raisonnement complexe des MLLM

Les chercheurs ont identifié le Décalage de l'Information Visuelle Pertinente (RVIS) pendant le décodage comme la cause principale de l'échec des méthodes existantes d'élagage des tokens visuels dans les Modèles de Langage Large Multimodaux (MLLM). Pour remédier à cela, ils proposent l'Élagage de Tokens Aware du Décalage au Stade de Décodage (DSTP), un cadre sans entraînement qui aligne les tokens visuels avec les exigences de raisonnement changeantes.

media MarkTechPost · il y a 16 h · 1 vue

webAI publie TwIL-LM, une famille de modèles de logique formelle de 1,7B et 3B pour l'auto-formalisation locale

webAI a publié TwIL-LM, une famille de deux raisonneurs en logique formelle avec 1,7B et 3B de paramètres conçus pour l'auto-formalisation sur du matériel local. Les modèles traduisent l'anglais en logique du premier ordre et vérifient la validité des conclusions, la variante 3B atteignant un score macro gate de 0,4218 sur des tâches de logique formelle dans le domaine.