github llama.cpp · il y a 1 h · inference

llama.cpp b10098 met à jour les opérations d'activation Hexagon

Traduit de English → Français

Le projet llama.cpp a publié la version b10098, qui inclut une mise à jour des opérations d'activation Hexagon. Cette version fournit des binaires pour macOS, Linux, Android, Windows et openEuler sur divers backends CPU et GPU.

Micro-noyau geglu tout-en-un optimisé (hex-geglu)
Activé la source non contiguë et le DMA en pas pour hex-geglu
Activé la source non contiguë et le DMA en pas pour le reste des opérations ACT
Généralisé les fonctions GLU par thread via la macro DEFINE_GLU_PER_THREAD
Déplacé UNARY_SILU et UNARY_GELU vers unary-ops
Remplacé l'utilisation générique du tampon ops_context par le calcul local htp_vtcm_layout

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

Diffusers ajoute le support natif de l'inférence Nunchaku Lite 4-bit

Hugging Face Diffusers prend désormais en charge le chargement natif des points de contrôle Nunchaku Lite via `from_pretrained()`, éliminant ainsi le besoin d'un moteur d'inférence séparé ou d'une compilation CUDA locale. Cette intégration utilise la méthode SVDQuant pour exécuter les couches transformateur avec des poids et activations en 4 bits (W4A4), réduisant considérablement l'utilisation de la mémoire tout en améliorant la vitesse d'inférence.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b10089 ajoute un support complet k-quant et i-quant à CUDA GET_ROWS

La version llama.cpp b10089 étend les opérations CUDA GET_ROWS pour prendre en charge les formats de quantification k-quants, i-quants et mxfp4. Ce changement garantit que tous les types GGML quantifiés peuvent désormais emprunter le chemin direct du périphérique pour les recherches d'embedding.

github llama.cpp · il y a 2 j

llama.cpp b10085 corrige l'ancrage de Qwen3-VL en alignant l'interpolation des embeddings de position

Le projet llama.cpp a publié la compilation b10085, qui inclut une correction pour l'interpolation des embeddings de position du modèle de vision Qwen3-VL afin de résoudre les incohérences des coordonnées d'ancrage.

github llama.cpp · il y a 4 j · 2 vues

llama.cpp b10069 ajoute le support de diffusion OpenCL pour Adreno MUL_MAT

Le projet llama.cpp a publié la compilation b10069, qui comprend des mises à jour OpenCL spécifiques pour les GPU Qualcomm Adreno. Le changement principal implique la prise en charge des opérations de diffusion pour le noyau Adreno MUL_MAT et le respect des décalages de vue pour la variante Q8_0 MUL_MAT afin d'activer la fonctionnalité multi-stream dans llama-server.

github llama.cpp · il y a 5 j · 1 vue

llama.cpp b10068 fait pivoter le cache K/V injecté pour DFlash

Le projet llama.cpp a publié la version b10068, qui introduit une modification dans l'implémentation du modèle DFlash. La mise à jour modifie src/models/dflash.cpp pour faire pivoter le cache de clé/valeur (K/V) injecté lorsque la quantification K/V est utilisée.