github llama.cpp · il y a 3 h · inference

llama.cpp b10657 ajoute des noyaux binaires OpenCL pour GEMO MOE

Traduit de English → Français

Le projet llama.cpp a publié la version b10657, introduisant de nouveaux noyaux binaires OpenCL pour les modèles à experts mixtes. Spécifiquement, la mise à jour ajoute `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` et `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` pour prendre en charge le calcul efficace sur du matériel compatible.

Ajout de noyaux binaires OpenCL pour GEMO MOE avec les quantifications q4_0/q8_1 et mxfp4/q8_1.
Fourniture de binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android et openEuler.
Le support de KleidiAI sur Apple Silicon sous macOS reste désactivé dans cette version.

Cette mise à jour étend la compatibilité matérielle pour les modèles à experts mixtes en activant des implémentations spécifiques de noyaux OpenCL.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10662 ajoute ctx-per-slot pour le cache KV unifié

Le projet llama.cpp a publié la compilation b10662, introduisant un nouvel argument `--kv-unified-per-slot` qui permet aux utilisateurs de spécifier le contexte par emplacement pour le cache KV unifié. Ce changement remplace l'ancien mécanisme de fraction de contexte par des emplacements de pool de contexte et refactorise l'implémentation sous-jacente.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp ajoute le support de l'architecture Qwen3.8-Flash-Next (qwen4exp)

Le projet llama.cpp a ajouté le support de l'architecture du modèle Qwen3.8-Flash-Next (qwen4exp), en implémentant ses composants spécifiques, notamment les hyperconnexions, les réseaux delta à gâchette, le Mélange d'Experts et les embeddings de hachage n-gramme PLE.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b10658 ajoute le support de DFlash2 et corrige un bug mrope

Le projet llama.cpp a publié la compilation b10658, introduisant le support pour la spécification DFlash2 qui inclut la convolution locale et un sélecteur de candidats. Cette mise à jour adresse également un bug spécifique de mrope au sein de la base de code.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp inclut les DLLs du runtime HIP dans la version ROCm pour Windows

Le projet llama.cpp a mis à jour sa version ROCm pour Windows afin d'inclure les DLLs nécessaires du runtime HIP directement à côté des binaires. Ce changement résout le problème #26929 en garantissant que le bon runtime HIP est chargé au lieu de potentiellement entrer en conflit avec la copie du pilote dans System32.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10656 limite la mémoire de travail pour éviter de charger de gros tenseurs dans la RAM

Le projet llama.cpp a publié la compilation b10656, qui inclut une modification visant à limiter la taille de la mémoire de travail. Cette modification est conçue pour empêcher le chargement de gros tenseurs dans la RAM du système.