github llama.cpp · à l'instant · inference

llama.cpp b10673 ajoute des réglages fa-vec pour Apple M4

Traduit de English → Français

Le projet llama.cpp a publié la version b10673, qui inclut des optimisations de performances spécifiques pour le matériel Apple M4. Cette mise à jour introduit des enregistrements fa_vec_tuned_table dans le module ggml-metal-tuning afin d'améliorer l'efficacité du backend Metal.

Ajoute des tables de recherche calibrées pour les quantifications F16, Q4_0, Q4_1, Q5_0, Q5_1 et Q8_0 sur les puces M4 avec 10 cœurs GPU.
Fournit des binaires pour macOS Apple Silicon (arm64), macOS Intel (x64) et iOS XCFramework.
Inclut des versions Linux pour Ubuntu x64 et arm64 sur les backends CPU, Vulkan, ROCm 7.14, OpenVINO et SYCL.
Propose des binaires Windows pour CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL et ROCm 7.14.
Ajoute le support Android arm64 (CPU) et les binaires d'interface utilisateur.

Cette version permet aux utilisateurs d'appareils Apple M4 de tirer parti de noyaux Metal optimisés pour une inférence plus rapide.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10670 dirige le décodage KV quantisé vers TILE sur Xe2 (BMG)

Le projet llama.cpp a publié la version b10670, qui comprend une optimisation spécifique pour l'architecture Xe2 d'Intel. La mise à jour dirige l'opération de décodage des clés et valeurs (KV) quantisées exclusivement vers le backend TILE pour le matériel BMG, tout en conservant le backend VEC sur les autres architectures jusqu'à leur validation.

github llama.cpp · il y a 2 h · 2 vues

llama.cpp b10672 ajoute le support de Whisper.cpp, l'activation du NPU pour Qwen3.5 et la mise à jour OpenVINO 2026.3.1

Le projet llama.cpp a publié la version b10672, qui met à jour le backend OpenVINO vers la version 2026.3.1 et ajoute le support des modèles Whisper.cpp sur le NPU.

github llama.cpp · il y a 4 h · 1 vue

llama.cpp ajoute des réglages fa-vec pour Apple M3 Max, M5 et M5 Pro

Le projet llama.cpp a ajouté des enregistrements de réglage de vecteur d'attention rapide (fa-vec) pour les GPU Apple M3 Max, M5 et M5 Pro afin d'améliorer les performances de Metal.

github llama.cpp · il y a 17 h · 3 vues

llama.cpp b10665 ajoute le support de DSpark pour Nemotron3.5

Le projet llama.cpp a publié la compilation b10665, qui introduit le support de DSpark pour le modèle Nemotron3.5.

github llama.cpp · il y a 20 h · 7 vues

llama.cpp ajoute le support de l'architecture Qwen3.8-Flash-Next (qwen4exp)

Le projet llama.cpp a ajouté le support de l'architecture du modèle Qwen3.8-Flash-Next (qwen4exp), en implémentant ses composants spécifiques, notamment les hyperconnexions, les réseaux delta à gâchette, le Mélange d'Experts et les embeddings de hachage n-gramme PLE.