github llama.cpp · il y a 1 j · inference

llama.cpp b10696 ajoute le réglage fa-vec pour M3 Pro

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10696, qui inclut une demande de tirage ajoutant le réglage rapide des vecteurs (fa-vec) spécifiquement pour la puce Apple M3 Pro.

Cette mise à jour traite le problème #27668 pour améliorer les performances sur cette configuration matérielle spécifique. La version fournit des binaires pour macOS, iOS, Linux, Windows, Android et openEuler via divers backends incluant CPU, CUDA, ROCm, Vulkan, OpenVINO et SYCL.

Le réglage fa-vec est destiné à optimiser la vitesse ou l'efficacité de l'inférence pour les utilisateurs exécutant llama.cpp sur des appareils équipés du processeur M3 Pro.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10721 corrige le plantage de WebGPU et ajoute le support de CUDA 13.4 sur Windows

Le projet llama.cpp a publié la compilation b10721, qui inclut une correction critique pour le backend WebGPU et étend la prise en charge du matériel sous Windows.

github llama.cpp · il y a 2 h

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

Le projet llama.cpp a publié la version b10718, qui comprend une mise à jour significative de son backend CUDA. Le changement le plus notable est l'extension de la fusion Mixture of Experts (MOE) pour prendre en charge le décodage spéculatif (specdec), répondant aux limitations précédentes où la fusion MOE glu et topk-router était restreinte au traitement d'un seul token à la fois.

github llama.cpp · il y a 4 h · 3 vues

llama.cpp b10721 corrige le plantage de WebGPU et ajoute le support de CUDA 13.4 sur Windows

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

La version b10717 de llama.cpp améliore la récupération des informations mémoire SYCL

llama.cpp b10715 fusionne le codeur DFlash dans l'injection de cache KV

pipecat-ai lance phonellm-alpha-1 avec des performances GPT 5.6 Terra