github llama.cpp · il y a 1 h · inference

llama.cpp b10256 parallélise le noyau de concaténation non contiguë pour SYCL

Traduit de English → Français

La version llama.cpp b10256 inclut un changement pour paralléliser le noyau de concaténation non contiguë pour les appareils SYCL. La mise à jour modifie la géométrie de lancement d'un groupe de travail à voie unique vers un groupe utilisant `SYCL_CONCAT_BLOCK_SIZE`.

Le noyau de concaténation non contiguë de SYCL lance désormais un groupe de travail plus large pour améliorer le parallélisme.
Les benchmarks sur un Arc Pro B70 avec Qwen3.6-27B montrent une augmentation du débit de 9,4 % (de 920 à 1006 t/s).
La version fournit des binaires pour macOS, Linux, Windows, Android et openEuler via les backends CPU, CUDA, Vulkan, ROCm, OpenVINO et SYCL.

Cette optimisation améliore les performances d'inférence sur les GPU Intel utilisant le backend SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10254 ajoute le template DeepSeek V4 Flash 0731 et met à jour les templates V4

Le projet llama.cpp a publié la version b10254, introduisant un nouveau template de chat pour le modèle DeepSeek V4 Flash 0731 ainsi que des mises à jour des templates DeepSeek V4 existants.

github llama.cpp · il y a 1 h En direct

llama.cpp b10255 étend oneDNN SDPA aux caches KV non-FP16

La version llama.cpp b10255 étend le chemin oneDNN SDPA pour prendre en charge les caches de clés-valeurs (KV) non-FP16, y compris les formats quantifiés Q4_0–Q8_0 et FP32. Cette mise à jour permet au noyau systolique fusionné de s'exécuter de manière identique au chemin natif FP16 en déquantifiant ou en convertissant les tenseurs K/V en FP16 dense sur l'appareil avant le traitement.

github llama.cpp · il y a 4 h

llama.cpp b10251 ajoute le support MTP pour GLM-4.7-Flash

Le projet llama.cpp a publié la compilation b10251, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle GLM-4.7-Flash.

media r/LocalLLaMA · il y a 5 h

L'AFM3 20B d'Apple utilise l'élagage de suivi d'instructions pour activer ~20 % des couches

Apple a introduit une nouvelle architecture pour ses modèles fondamentaux de troisième génération (AFM3) qui utilise l'« Élagage de Suivi d'Instructions » pour réduire significativement le nombre de paramètres actifs. Le modèle est conçu pour activer environ 20 % de ses couches MLP en prenant des décisions de routage une fois par prompt plutôt que par token.

github llama.cpp · il y a 6 h

llama.cpp b10249 ajoute l'outil get_info au serveur

Le projet llama.cpp a publié la version b10249, qui introduit un nouvel outil `get_info` dans le composant serveur. Cette mise à jour comprend également des corrections de documentation pour le drapeau `--rpc`.