github llama.cpp · il y a 2 j · inference

llama.cpp b11227 optimise le basculement de causal_attn pour une inférence visuelle plus rapide

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11227, qui inclut des optimisations de performance spécifiquement ciblées sur la gestion du drapeau `causal_attn` lors du traitement multimodal.

Le planificateur ne réserve plus de mémoire lors du basculement de `causal_attn`, éliminant les passes coûteuses qui ralentissaient auparavant les entrées visuelles pour des modèles comme Gemma.
La forme du biais de l'indexeur qwen4exp est désormais indépendante de `causal_attn`, empêchant les échecs de réallocation de tampon sous les contraintes de `GGML_SCHED_NO_REALLOC`.
Les benchmarks sur llama-server avec gemma-4-26B-A4B montrent des réductions significatives de latence, telles qu'une accélération de 7.61x pour 24 images sur RTX 4090 et jusqu'à 3.40x sur H200 avec des paramètres de contexte large.

Ces modifications améliorent la vitesse d'inférence pour les entrées multi-images et vidéo sans altérer la sortie générée ou le comportement de reconstruction du graphe.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b11298 ajoute le support de dflash pour la conversion et l'extraction de fonctionnalités

Le projet llama.cpp a publié la compilation b11298, qui introduit le support du format dflash. Cette mise à jour permet à la fois la conversion des modèles vers ce format et les capacités ultérieures d'extraction de fonctionnalités.

github llama.cpp · il y a 7 h · 2 vues

llama.cpp b11284 corrige GET_ROWS sur les vues de poids quantifiés pour OpenVINO

Le projet llama.cpp a publié la version b11284, qui inclut une correction pour le backend OpenVINO afin de gérer correctement les opérations GET_ROWS sur les vues de poids quantifiés.

github llama.cpp · il y a 11 h · 2 vues

llama.cpp ajoute le support de GLM-5.3-Flash avec des correctifs k-pool et MTP

Le projet llama.cpp a ajouté un support initial pour l'architecture du modèle GLM-5.3-Flash (GLM5-Next), y compris la migration vers une mémoire à index hybride et les premières capacités de Multi-Token Prediction (MTP).

github llama.cpp · il y a 13 h · 2 vues

llama.cpp b11272 optimise l'opération de concaténation Hexagon

Le projet llama.cpp a publié la compilation b11272, qui inclut des optimisations pour le backend Hexagon. Le changement principal se concentre sur l'optimisation de l'opération de concaténation pour améliorer les performances sur le matériel Qualcomm Snapdragon.

github llama.cpp · il y a 1 j · 7 vues

llama.cpp b11260 ajoute le support de FP32 GELU_ERF et GEGLU_ERF

Le projet llama.cpp a publié la version b11260, introduisant le support des fonctions d'activation FP32 GELU_ERF et GEGLU_ERF dans le backend Hexagon. Cette mise à jour inclut également des optimisations pour réduire la pression sur les registres au sein des noyaux associés.