github llama.cpp · il y a 1 h · inference

llama.cpp b10178 ajoute la journalisation de traçage pour la vérification de similarité des slots

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10178, qui introduit la journalisation de traçage pour la vérification de similarité des slots au sein du composant serveur. Cette mise à jour ajoute une journalisation détaillée dans `server-context.cpp` lors de la sélection du slot de cache de prompts, capturant spécifiquement les raisons de saut et les détails du calcul de similarité.

La version fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu avec backends CPU, Vulkan, ROCm, OpenVINO et SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) et openEuler. Le support KleidiAI pour macOS Apple Silicon est désactivé dans cette compilation.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10174 ajoute le support du décodage spéculatif NextN/MTP pour GLM-5.2

Le projet llama.cpp a publié la compilation b10174, introduisant le support du décodage spéculatif NextN/MTP pour l'architecture du modèle GLM_DSA (GLM-5.2).

media Together AI Blog · il y a 16 h

Together AI explique le routage conscient de la capacité pour l'inférence de modèles dédiés

Together AI détaille l'architecture de sa plateforme d'Inférence de Modèles Dédiés, qui relie les points de terminaison, les déploiements et les configurations immuables via un partage de trafic conscient de la capacité. Ce système achemine les requêtes en fonction de la capacité effective (poids multiplié par le nombre de réplicas prêts) plutôt que sur des pourcentages fixes, permettant des fonctionnalités telles que les déploiements sans interruption et les tests A/B.

media Hugging Face Forums · il y a 17 h

Les graphes de mémoire pondérés par l'attention utilisent l'attention de Jina pour la traversée de graph-RAG

Une nouvelle proposition décrit une structure de mémoire LLM qui combine le fractionnement tardif avec des arêtes pondérées par l'attention pour permettre une traversée étape par étape. Le système exploite le modèle d'embedding de Jina AI, qui calcule l'attention entre les phrases, pour dériver les poids des arêtes du traitement interne du document.

github llama.cpp · il y a 17 h

llama.cpp b10171 corrige les sorties corrompues du multi-flux OpenCL sur Adreno

La version b10171 de llama.cpp corrige un bug critique dans les noyaux d'image Adreno KQ/KQV qui provoquait des sorties corrompues lors de lots de séquences multiples. Le problème est survenu car ces noyaux ignoraient la dimension 3, entraînant des lectures incorrectes lors de l'utilisation du cache KV unifié avec plusieurs flux.

media r/LocalLLaMA · il y a 18 h

Microsoft publie Mage-VL, un modèle multimodal en streaming natif par codec

Microsoft a publié Mage-VL, un modèle de base multimodal efficace de 4 milliards de paramètres pour la compréhension d'images et de vidéos, qui utilise une approche native par codec pour rationaliser le traitement visuel. Le système sépare les flux vidéo en images ancrées (I) et images prédites (P), ne conservant que les patches où le codec alloue des bits afin de réduire la consommation de tokens visuels de plus de 75 %.