github llama.cpp · il y a 1 h · inference

llama.cpp b10505 ajoute l'option de préréglage dedup-cache-models

Traduit de English → Français

Le projet llama.cpp a publié la version b10505, qui introduit une nouvelle option de préréglage `dedup-cache-models` pour le composant serveur.

La release inclut des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.
Le support KleidiAI pour macOS Apple Silicon est désactivé dans cette build.
Le support Ubuntu x64 ROCm 7.14 est également désactivé.
Un nouveau package d'interface utilisateur est disponible au téléchargement avec les binaires spécifiques à la plateforme.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

La quantification du cache KV par magnitude de Fourier double la longueur du contexte à mémoire égale

ntrillard démontre que la quantification du spectre de magnitude de Fourier des valeurs du cache K et V sur 4 bits, tout en préservant la phase à pleine précision, atteint une correspondance de tokens de 96,9 % par rapport à la référence fp16 sur Gemma-3-1B, soit une amélioration de 5 à 10 fois par rapport à la quantification min-max standard.

github llama.cpp · il y a 4 j · 26 vues

llama.cpp ajoute le support du modèle Kimi-K3 avec reconditionnement MXFP4 et modèle de chat

Le projet llama.cpp a ajouté la prise en charge du modèle textuel Kimi-K3, implémentant son architecture d'attention hybride KDA (linéaire) + MLA (complet) ainsi que cinq caractéristiques architecturales spécifiques absentes de l'ancien Kimi-Linear-48B.

github llama.cpp · il y a 4 j · 21 vues

llama.cpp b10447 redessine le modèle de threads yield_to_queue

Le projet llama.cpp a publié la compilation b10447, qui inclut un redessin du modèle de threads `yield_to_queue`. Ce changement implique l'exécution de `common_speculative_process` dans le worker et le remplacement du design du thread worker vers le thread principal.

github llama.cpp · il y a 4 j · 21 vues

llama.cpp b10444 ajoute le support des modèles assistants MTP et supprime eagle3

Le projet llama.cpp a publié la version b10444, introduisant le support pour charger des modèles assistants de Prédiction Multi-Tokens (MTP) via le drapeau `--models-dir`. Cette mise à jour inclut également une vérification stricte du préfixe pour les modèles MTP dans les préréglages et supprime le support du type de brouillon eagle3.

github llama.cpp · il y a 5 j · 19 vues

llama.cpp b10442 ajoute SHMEM_STRIDE_PAD Vulkan pour Intel Xe et corrige la lecture hors limites

Le projet llama.cpp a publié la version b10442, introduisant des optimisations Vulkan spécifiques pour le matériel Intel Xe tout en traitant les problèmes de sécurité mémoire dans les routines de multiplication de matrices.