github llama.cpp · il y a 1 h · inference

llama.cpp b10285 ajoute le regroupement multi-lignes pour deepseek-ocr

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10285, qui introduit le support du regroupement multi-lignes dans le module mtmd spécifiquement pour les modèles deepseek-ocr. Cette mise à jour permet au système de tisser les lignes de deepseek-ocr en une seule opération plutôt que de les traiter individuellement.

mtmd prend désormais en charge le regroupement multi-lignes pour deepseek-ocr.
L'implémentation tisse les lignes de deepseek-ocr en un seul coup au lieu de ligne par ligne.
Les binaires sont disponibles pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) et openEuler.

Cette version fournit des binaires mis à jour sur plusieurs plateformes et accélérateurs matériels pour les utilisateurs nécessitant les nouvelles capacités de traitement de deepseek-ocr.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10282 ajoute des compteurs spec-decode au point de terminaison /metrics

Le projet llama.cpp a publié la version b10282, qui introduit de nouvelles capacités de surveillance pour le décodage spéculatif. Le serveur inclut désormais des compteurs spec-decode dans son point de terminaison /metrics, permettant aux utilisateurs de suivre les métriques de performance liées à cette fonctionnalité.

github llama.cpp · il y a 16 h

llama.cpp b10275 décode la sortie OEM de Windows en UTF-8 dans les outils intégrés

Le projet llama.cpp a publié la compilation b10275, qui corrige un problème d'encodage de caractères sur Windows où les caractères accentués étaient perdus silencieusement. La mise à jour garantit que le texte des processus enfants écrivant dans la page de codes OEM est correctement décodé en UTF-8 avant d'atteindre la couche JSON.

github llama.cpp · il y a 20 h

llama.cpp b10273 résout la longueur de contexte du sampleur et supprime les fenêtres de contexte complet

Le projet llama.cpp a publié la compilation b10273, corrigeant un problème critique où les sampleurs basés sur l'historique ne pouvaient pas inférer la longueur correcte du contexte lors de l'initialisation en raison des contraintes du backend d'échantillonnage.

github llama.cpp · il y a 22 h

llama.cpp b10269 corrige le problème de reshape dflash wo_a lors du chargement

Le projet llama.cpp a publié la version b10269, qui inclut une correction pour le problème de reshape dflash wo_a lors du chargement du modèle.

media Hugging Face Forums · il y a 1 j

Attention linéaire causale O(N) à portes de décroissance open-source avec noyau Triton fusionné

Un développeur a mis en open-source une architecture d'attention linéaire causale O(N) à portes de décroissance, dotée de noyaux d'accumulation d'état Triton/CUDA fusionnés conçus pour contourner les goulots d'étranglement de l'attention multi-têtes quadratique.