github llama.cpp · il y a 2 h · inference

llama.cpp b10816 ajoute des réglages fa-vec pour M3 et de nouveaux binaires

Traduit de English → Français

Le projet llama.cpp a publié la version b10816, qui inclut des mises à jour du backend Metal pour les appareils Apple Silicon. La publication se concentre sur l'ajout des derniers réglages fast-vector spécifiquement pour l'architecture de la puce M3.

Ajoute des entrées M3 à fa_vec_tuned_table.
Inclut les quantifications q4_0, q4_1, q5_0 et q5_1 dans ggml-metal-tuning.
Fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux, Windows, Android et openEuler.
Prend en charge divers backends dont CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL, CUDA 12/13 et OpenCL Adreno.

Cette mise à jour garantit des performances optimisées pour le matériel M3 tout en élargissant la disponibilité des binaires précompilés sur plusieurs systèmes d'exploitation et architectures GPU.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10796 ajoute n_expert_used_max pour corriger le chargement de Nemotron-3-Puzzle

Le projet llama.cpp a publié la compilation b10796, qui inclut une modification du chargeur de modèles pour prendre en charge les modèles avec un nombre variable d'experts par couche.

github llama.cpp · il y a 1 j · 3 vues

llama.cpp b10791 ajoute des optimisations OpenCL pour la quantification de lm_head et le GEMV de décodage

Le projet llama.cpp a publié la version b10791, introduisant des optimisations OpenCL significatives pour les têtes de modèles de langage quantifiées et les opérations GEMV de décodage. Cette mise à jour inclut également des améliorations du GEMM par lots moyens pertinentes pour le décodage spéculatif et la prédiction multi-jeton.

github llama.cpp · il y a 2 j · 3 vues

ggml-org lance llama.cpp b10774 avec correction du cache KV pour le fine-tuning

Le projet ggml-org a publié la version b10774 de llama.cpp, qui inclut une correction pour le problème d'absence de cache KV dans le module de fine-tuning.

github llama.cpp · il y a 2 j · 9 vues

llama.cpp b10763 active preserve_reasoning par défaut

Le projet llama.cpp a publié la compilation b10763, qui modifie le comportement par défaut de l'argument mot-clé `preserve_reasoning` du modèle de chat. Le serveur enregistre désormais l'état effectif de ce kwarg et émet un avertissement lorsqu'il est activé par défaut sur les modèles qui le prennent en charge.

github llama.cpp · il y a 2 j · 3 vues

llama.cpp b10760 corrige la stabilité de l'inférence de Qwen3-tts-0.6b

Le projet llama.cpp a publié la compilation b10760, qui comprend des correctifs spécifiques pour le modèle Qwen3-tts-0.6B afin d'éviter l'instabilité numérique lors de l'inférence.