github llama.cpp · il y a 1 h · inference

llama.cpp b10093 corrige le template DeepSeek v4 et ajoute le drapeau drop_reasoning

Traduit de English → Français

Le projet llama.cpp a publié la build b10093, qui comprend des mises à jour spécifiques pour prendre en charge les modèles DeepSeek v4. La release traite de la gestion des templates et introduit de nouveaux drapeaux de configuration pour cette famille de modèles.

Corrige le template fabriqué de DeepSeek v4 pour suivre explicitement le comportement de référence.
Ajoute le support du drapeau `drop_reasoning` de DeepSeek v4.
Connecte le parseur DeepSeek 3.2 pour qu'il gère également les entrées DeepSeek v4.
Inclut une correction pour le réordonnancement des résultats d'outils.

Cette mise à jour assure un formatage correct du chat et la gestion des tokens de raisonnement pour les modèles DeepSeek v4 au sein de llama.cpp.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10089 ajoute un support complet k-quant et i-quant à CUDA GET_ROWS

La version llama.cpp b10089 étend les opérations CUDA GET_ROWS pour prendre en charge les formats de quantification k-quants, i-quants et mxfp4. Ce changement garantit que tous les types GGML quantifiés peuvent désormais emprunter le chemin direct du périphérique pour les recherches d'embedding.

github llama.cpp · il y a 2 j

llama.cpp b10076 vectorise get_rows avec copie int4 pour une accélération de 27 %

Le projet llama.cpp a publié la compilation b10076, qui introduit une optimisation de performance dans le backend CUDA en vectorisant l'opération `get_rows` à l'aide de copies int4. Ce changement extrait le travail invariant par ligne de la boucle élément par élément et ajoute un chemin vectorisé qui copie 16 octets par thread pour des données contiguës du même type.

media Hugging Face Forums · il y a 5 j · 2 vues

zhongkaifu publie TensorSharp, un moteur d'inférence LLM natif .NET pour les modèles GGUF

zhongkaifu a publié TensorSharp, un moteur d'inférence LLM local open-source entièrement écrit en C# qui prend en charge Windows, macOS et Linux. Le moteur gère les modèles GGUF de Unsloth, y compris Gemma 4 et Qwen 3.6 avec des capacités multimodales, tout en fournissant des API compatibles avec OpenAI et Ollama.

github llama.cpp · à l'instant En direct

llama.cpp b10094 déduit le type spéculatif depuis les sidecars du dépôt de modèle

Le projet llama.cpp a publié la version b10094, introduisant une fonctionnalité qui détecte automatiquement le type de décodage spéculatif à partir des sidecars du dépôt de modèle. Auparavant, lors de l'utilisation du drapeau `-hfd` pour pointer vers un dépôt contenant des sidecars mtp-, dflash- ou eagle3- sans fournir explicitement `--spec-type`, le système résolvait incorrectement le modèle comme étant un modèle complet.

lab Tencent Hunyuan (HF) · il y a 5 h

Tencent open-source les modèles de traduction multilingue Hy-MT2 et IFMTBench

Tencent a publié la famille de modèles de traduction multilingue « à réflexion rapide » Hy-MT2, incluant les tailles 1.8B, 7B et 30B-A3B (MoE), ainsi que le benchmark IFMTBench pour évaluer les capacités de suivi d'instructions.