github llama.cpp · il y a 1 h · inference

ggml-org lance llama.cpp b10774 avec correction du cache KV pour le fine-tuning

Traduit de English → Français

Le projet ggml-org a publié la version b10774 de llama.cpp, qui inclut une correction pour le problème d'absence de cache KV dans le module de fine-tuning.

Le composant d'entraînement gère désormais correctement l'utilisation du cache KV pendant les opérations de fine-tuning.
Des binaires sont fournis pour macOS (Apple Silicon et Intel), Linux (Ubuntu avec CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) et openEuler.
Un XCFramework pour iOS et un package d'interface utilisateur autonome sont également inclus dans les actifs de la version.

Cette mise à jour garantit que les flux de travail de fine-tuning fonctionnent correctement en corrigeant la gestion précédemment défectueuse du cache clé-valeur.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10763 active preserve_reasoning par défaut

Le projet llama.cpp a publié la compilation b10763, qui modifie le comportement par défaut de l'argument mot-clé `preserve_reasoning` du modèle de chat. Le serveur enregistre désormais l'état effectif de ce kwarg et émet un avertissement lorsqu'il est activé par défaut sur les modèles qui le prennent en charge.

github llama.cpp · il y a 16 h · 1 vue

llama.cpp b10760 corrige la stabilité de l'inférence de Qwen3-tts-0.6b

Le projet llama.cpp a publié la compilation b10760, qui comprend des correctifs spécifiques pour le modèle Qwen3-tts-0.6B afin d'éviter l'instabilité numérique lors de l'inférence.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b10751 fusionne la réduction pondérée des experts MoE pour CUDA

Le projet llama.cpp a publié la version b10751, qui introduit un noyau fusionné pour la réduction pondérée des experts MoE (Mixture of Experts) sur CUDA. Cette optimisation remplace le précédent point de référence qui exécutait deux noyaux physiques par un seul noyau de réduction pondérée afin de réduire les transferts intermédiaires vers la mémoire globale.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b10750 optimise la recherche de n-grammes du cache KV pour un gain de débit de 4,9 %

Le projet llama.cpp a publié la version b10750, qui refactorise la gestion des cellules de clé-valeur afin d'améliorer l'indexation des positions de séquence et les recherches dans l'historique des n-grammes.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b10742 ajoute des réglages fa-vec pour A18 Pro

Le projet llama.cpp a publié la version b10742, qui inclut une nouvelle fonctionnalité ajoutant des réglages de vecteur rapide (fa-vec) spécifiquement pour la puce Apple A18 Pro trouvée dans le MacBook Neo.