github llama.cpp · il y a 8 h · inference

llama.cpp b10653 ajoute TENSOR_READ_LAZY pour le chargement de modèles

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10653, introduisant la fonctionnalité TENSOR_READ_LAZY dans son chargeur de modèles. Ce changement inclut l'ajout de la fonction TENSOR_GET_ROW_LAZY et un drapeau correspondant --tensor-read-lazy en ligne de commande.

Ajout de TENSOR_READ_LAZY et TENSOR_GET_ROW_LAZY au chargeur de modèles.
Introduction de l'option CLI --tensor-read-lazy pour activer la lecture paresseuse des tenseurs.
Fourniture de binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android et iOS.

Cette version met à jour la bibliothèque principale avec de nouvelles capacités de chargement différé tout en distribuant des binaires précompilés sur les plateformes prises en charge.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

llama.cpp ajoute le support de l'architecture Qwen3.8-Flash-Next (qwen4exp)

Le projet llama.cpp a ajouté le support de l'architecture du modèle Qwen3.8-Flash-Next (qwen4exp), en implémentant ses composants spécifiques, notamment les hyperconnexions, les réseaux delta à gâchette, le Mélange d'Experts et les embeddings de hachage n-gramme PLE.

github llama.cpp · il y a 6 j · 11 vues

llama.cpp b10568 utilise ggml_rope_set_offset() pour DeepSeek 2

Le projet llama.cpp a publié la compilation b10568, qui met à jour la gestion des modèles pour utiliser la fonction `ggml_rope_set_offset()`. Ce changement est partiellement appliqué pour prendre en charge DeepSeek 2.

github llama.cpp · il y a 7 j · 17 vues

llama.cpp b10541 ajoute l'argument --mmproj-device pour les projets multimodaux

Le projet llama.cpp a publié la compilation b10541, introduisant l'argument de ligne de commande `--mmproj-device` permettant aux utilisateurs de spécifier le backend du périphérique pour charger les fichiers de projection multimodale.

github llama.cpp · il y a 7 j · 7 vues

llama.cpp b10532 ajoute la déquantisation du cache KV Metal pour Flash Attention

Le projet llama.cpp a publié la version b10532, introduisant un passage de prétraitement sur le backend Metal qui déquantise les caches Key-Value (KV) quantisés en F16 avant d'exécuter Flash Attention.

github llama.cpp · il y a 7 j · 13 vues

llama.cpp b10517 ajoute des optimisations de déquantisation FA pour Vulkan et des correctifs

Le projet llama.cpp a publié la compilation b10517, introduisant plusieurs améliorations spécifiques à Vulkan dans le chemin de déquantisation de l'attention flash (FA). Les changements clés incluent la déquantisation de q8_0 KV une fois dans coopmat1, le saut du chemin de déquantisation FA sur coopmat2 et l'exclusion d'Intel Xe1 du chemin de déquantisation FA.