github llama.cpp · il y a 2 h · inference

llama.cpp b10107 corrige un crash sous Windows et fournit des binaires pour plusieurs plateformes

Traduit de English → Français

Le projet llama.cpp a publié la version b10107, qui inclut une correction pour un crash sous Windows survenant lorsque la fonctionnalité op_poll était activée.

Résout un crash sous Windows lorsque op_poll est actif (PR #26029).
Fournit des binaires précompilés pour macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x avec CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et openEuler.
Désactive le support de KleidiAI pour Apple Silicon sous macOS dans cette version.

Cette mise à jour assure la stabilité sur les systèmes Windows utilisant op_poll tout en continuant d'offrir un support matériel complet sur les principaux systèmes d'exploitation et accélérateurs.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10105 refactorise mlock/mmap/directio en un seul argument de mode de chargement

Le projet llama.cpp a publié la version b10105, qui introduit une refactorisation significative de l'interface en ligne de commande en consolidant les drapeaux de gestion de mémoire séparés en un unique argument `load-mode`.

github llama.cpp · il y a 17 h

llama.cpp b10099 améliore la quantification NVFP4 W4A4 sur CUDA

Le projet llama.cpp a publié la version b10099, qui comprend une mise à jour significative du backend CUDA pour améliorer la quantification d'activation NVFP4 W4A4.

github llama.cpp · il y a 19 h

llama.cpp b10098 met à jour les opérations d'activation Hexagon

Le projet llama.cpp a publié la version b10098, qui inclut une mise à jour des opérations d'activation Hexagon. Cette version fournit des binaires pour macOS, Linux, Android, Windows et openEuler sur divers backends CPU et GPU.

media Together AI Blog · il y a 21 h

Together lance l'inférence de modèles dédiée avec un bêta d'entraînement personnalisé

Together a publié une mise à jour majeure de sa plateforme d'inférence, introduisant « Dedicated Model Inference » conçu pour offrir aux utilisateurs un contrôle total sur les performances, les coûts et la qualité des modèles à poids ouverts. La mise à jour annonce également un bêta fermé pour les capacités d'entraînement personnalisé, incluant le renforcement par apprentissage avec des poids complets et LoRA.

github llama.cpp · il y a 22 h · 1 vue

llama.cpp b10094 déduit le type spéculatif depuis les sidecars du dépôt de modèle

Le projet llama.cpp a publié la version b10094, introduisant une fonctionnalité qui détecte automatiquement le type de décodage spéculatif à partir des sidecars du dépôt de modèle. Auparavant, lors de l'utilisation du drapeau `-hfd` pour pointer vers un dépôt contenant des sidecars mtp-, dflash- ou eagle3- sans fournir explicitement `--spec-type`, le système résolvait incorrectement le modèle comme étant un modèle complet.