github llama.cpp · il y a 2 h · inference

llama.cpp b10094 déduit le type spéculatif depuis les sidecars du dépôt de modèle

Traduit de English → Français

Le projet llama.cpp a publié la version b10094, introduisant une fonctionnalité qui détecte automatiquement le type de décodage spéculatif à partir des sidecars du dépôt de modèle. Auparavant, lors de l'utilisation du drapeau `-hfd` pour pointer vers un dépôt contenant des sidecars mtp-, dflash- ou eagle3- sans fournir explicitement `--spec-type`, le système résolvait incorrectement le modèle comme étant un modèle complet.

Avec cette mise à jour, si aucun type spéculatif n'est spécifié, llama-server découvre les sidecars disponibles dans le dépôt de modèle et sélectionne le premier selon l'ordre de priorité mtp, dflash, puis eagle3. Cela permet aux utilisateurs d'exécuter des commandes telles que `llama-server -hf repo:Q3_K_M -hfd repo:Q8_0` sans drapeaux supplémentaires. Un argument `--spec-type` explicite désactive toujours cette inférence automatique.

La version inclut des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu x64/arm64/s390x avec CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android arm64, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et openEuler.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · à l'instant En direct

llama.cpp b10098 met à jour les opérations d'activation Hexagon

Le projet llama.cpp a publié la version b10098, qui inclut une mise à jour des opérations d'activation Hexagon. Cette version fournit des binaires pour macOS, Linux, Android, Windows et openEuler sur divers backends CPU et GPU.

media Together AI Blog · il y a 2 h

Together lance l'inférence de modèles dédiée avec un bêta d'entraînement personnalisé

Together a publié une mise à jour majeure de sa plateforme d'inférence, introduisant « Dedicated Model Inference » conçu pour offrir aux utilisateurs un contrôle total sur les performances, les coûts et la qualité des modèles à poids ouverts. La mise à jour annonce également un bêta fermé pour les capacités d'entraînement personnalisé, incluant le renforcement par apprentissage avec des poids complets et LoRA.

github llama.cpp · il y a 4 h

llama.cpp b10093 corrige le template DeepSeek v4 et ajoute le drapeau drop_reasoning

Le projet llama.cpp a publié la build b10093, qui comprend des mises à jour spécifiques pour prendre en charge les modèles DeepSeek v4. La release traite de la gestion des templates et introduit de nouveaux drapeaux de configuration pour cette famille de modèles.

lab Tencent Hunyuan (HF) · il y a 8 h

Tencent open-source les modèles de traduction multilingue Hy-MT2 et IFMTBench

Tencent a publié la famille de modèles de traduction multilingue « à réflexion rapide » Hy-MT2, incluant les tailles 1.8B, 7B et 30B-A3B (MoE), ainsi que le benchmark IFMTBench pour évaluer les capacités de suivi d'instructions.

media r/LocalLLaMA · il y a 12 h

PaddlePaddle publie HPD-Parsing, un modèle de 1 milliard de paramètres avec décodage parallèle hiérarchique

PaddlePaddle a présenté HPD-Parsing, un modèle léger de parsing de documents comptant 1 milliard de paramètres qui exploite un paradigme de décodage parallèle hiérarchique pour améliorer le débit. L'architecture coordonne la structure globale des pages via une branche de mise en page principale tout en répartissant la génération de contenu localisé vers des branches concurrentes, en utilisant la prédiction multi-jetons progressive pour réduire les étapes de décodage.