github llama.cpp · il y a 1 h · inference

llama.cpp b10622 corrige le plantage OOM de Metal sur iOS/macOS

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10622, qui inclut une correction critique pour le backend Metal afin d'éviter les plantages par manque de mémoire. La mise à jour traite un problème où le retour de `ggml_metal_buffer_init` à NULL en raison d'une échec d'allocation n'était pas vérifié, entraînant un plantage dur via `EXC_BAD_ACCESS` lors de la déréférencement du pointeur nul.

metal : Ajout d'une vérification de null pour les résultats de `ggml_metal_buffer_init` dans `ggml_backend_metal_buffer_type_alloc_buffer` pour gérer gracieusement les conditions OOM.
cont : Correction des problèmes de journalisation au sein de la base de code.

Ce changement garantit que les appareils à mémoire limitée comme iOS peuvent afficher des erreurs diagnosables au lieu de planter lorsqu'un modèle ou un contexte dépasse le budget Metal disponible.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Quantization-Aware Healing : un modèle compressé en 4 bits qui surpasse son original en précision complète

L'article présente Quantization-Aware Healing, une méthode pour créer un modèle compressé en 4 bits qui atteint des performances supérieures à celles de son original en précision complète.

lab Hugging Face Blog · il y a 1 h · 1 vue En direct

Papers with Code utilise les services de Hugging Face pour une recherche hybride d'articles

Papers with Code a mis en place un système de recherche hybride combinant le retour par mots-clés et la récupération sémantique afin d'aider les utilisateurs à trouver des articles de recherche pertinents sur l'IA. L'architecture exploite Hugging Face Jobs, Storage Buckets et Inference Endpoints pour gérer le pipeline d'embedding et servir des requêtes à faible latence.

lab Hugging Face Blog · il y a 1 h · 5 vues En direct

Le QAH de Multiverse Computing permet au GPT-OSS en 4 bits de surpasser sa version pleine précision

Multiverse Computing présente Quantization-Aware Healing (QAH), une méthode qui distille des grands modèles de langage compressés et quantifiés directement à partir de leurs enseignants originaux avant compression. Appliquée à un modèle GPT-OSS 120B compressé à 60B paramètres et quantifié en MXFP4, cette approche produit un modèle qui bat sa propre version pleine précision bfloat16 sur 7 des 9 benchmarks.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp 0.3.0 ajoute le modèle dots3-note et la répartition de tenseur pour DeepSeek 4

llama.cpp 0.3.0 introduit la prise en charge du modèle multimodal dots3-note avec un nouveau type de cache KV DSA-ISWA, ainsi que la prise en charge de la prédiction multi-tokens (MTP) pour GLM-4.5-Air. La version ajoute également des capacités de répartition de tenseur pour DeepSeek 4 et corrige les problèmes de rollback multi-séquences.

github llama.cpp · il y a 6 h · 1 vue

llama.cpp b10618 corrige l'analyse de grammaire pour les tirets littéraux dans les classes de caractères

Le projet llama.cpp a publié la compilation b10618, qui inclut une correction pour l'analyseur de grammaire afin de gérer correctement les tirets littéraux à l'intérieur des classes de caractères. Auparavant, la fonction `gbnf_escape_char_class()` échappait le tiret comme "\-", mais la fonction `parse_char()` rejetait cette séquence d'échappement, ce qui provoquait l'échec des grammaires générées pour les appels d'outils lors de l'analyse.