github llama.cpp · il y a 22 h · inference

llama.cpp b10356 met à jour ROCm vers 7.14 et ajoute le support de CUDA 13 sous Windows

Traduit de English → Français

Le projet llama.cpp a publié la version b10356, qui cible principalement l'infrastructure de compilation en passant le backend ROCm de la version 7.2.1 à 7.14. Cette mise à jour s'aligne sur ROCm 7.14 étant la première version de production utilisant le système de build TheRock et implique la migration des tâches CI pour utiliser des wheels multi-architectures tant sous Linux que sous Windows.

Change la cible ROCm de 7.2.1 à 7.14 sur les builds Linux et Windows.
Migre les actions de configuration partagées de Windows vers des wheels ROCm multi-architectures et met à jour build-cuda-windows.yml en conséquence.
Ajoute de nouveaux binaires Windows pour CUDA 13 (x64) et un support preview pour CUDA 13.4 (arm64).
Fournit des binaires précompilés pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Android et iOS.

Cette version garantit la compatibilité avec la dernière infrastructure ROCm tout en élargissant les options d'accélération GPU sous Windows grâce aux versions plus récentes de CUDA.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · il y a 7 h

llama.cpp b10361 corrige SWA pour EXAONE 4.5 et ignore TENSOR_SKIP dans le chemin des métadonnées

La version b10361 de llama.cpp corrige un bug critique où l'attention à fenêtre glissante (SWA) n'était pas activée pour le modèle LGAI-EXAONE 4.5 en raison d'un ordre incorrect des paramètres lors du chargement.

lab Hugging Face Blog · il y a 11 h

ALTK-Evolve atteint une précision égale ou supérieure à celle d'ACE pour une fraction du coût d'inférence

ALTK-Evolve, un système de mémoire agentique qui convertit les trajectoires des agents en directives réutilisables sans mise à jour des poids, égale ou dépasse la précision d'ACE tout en utilisant significativement moins de tokens. Contrairement à ACE, qui injecte un manuel complet à chaque étape, ALTK-Evolve utilise une récupération sélective pour fournir uniquement les directives pertinentes en fonction de la capacité du modèle.

github vLLM · il y a 14 h

vLLM v0.27.1 ajoute le support des têtes DSpark Markov quantisées

vLLM a publié la version 0.27.1, une mise à jour correctrice basée sur la précédente version v0.27.0.

lab NVIDIA Research · il y a 15 h · 10 vues

DSTP atténue les échecs de l'élagage des tokens visuels dans le raisonnement complexe des MLLM

Les chercheurs ont identifié le Décalage de l'Information Visuelle Pertinente (RVIS) pendant le décodage comme la cause principale de l'échec des méthodes existantes d'élagage des tokens visuels dans les Modèles de Langage Large Multimodaux (MLLM). Pour remédier à cela, ils proposent l'Élagage de Tokens Aware du Décalage au Stade de Décodage (DSTP), un cadre sans entraînement qui aligne les tokens visuels avec les exigences de raisonnement changeantes.

media MarkTechPost · il y a 16 h · 1 vue

webAI publie TwIL-LM, une famille de modèles de logique formelle de 1,7B et 3B pour l'auto-formalisation locale

webAI a publié TwIL-LM, une famille de deux raisonneurs en logique formelle avec 1,7B et 3B de paramètres conçus pour l'auto-formalisation sur du matériel local. Les modèles traduisent l'anglais en logique du premier ordre et vérifient la validité des conclusions, la variante 3B atteignant un score macro gate de 0,4218 sur des tâches de logique formelle dans le domaine.