github llama.cpp · il y a 9 h · inference

llama.cpp b11320 ajoute un gestionnaire de dialecte Harmony pour LLM-jp-4.1

Traduit de English → Français

Le projet llama.cpp a publié la version b11320, qui inclut un nouveau gestionnaire de dialecte pour le modèle LLM-jp-4.1.

La mise à jour ajoute la prise en charge du dialecte Harmony de LLM-jp-4.1 pour résoudre les problèmes de compatibilité avec son tokeniseur et le formatage des appels d'outils parallèles.
La version fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows et openEuler.
Un package d'interface utilisateur autonome est également inclus dans la distribution.

Importance 1/3 Confiance 1/3 llama.cpp Local inference

Lire l'original

llama.cpp b11307 préserve l'ordre du lot pour le décodage spéculatif

Le projet llama.cpp a publié la compilation b11307, qui corrige l'ordre des entrées des couches pour préserver la séquence de lot originale lors du décodage spéculatif. Ce changement garantit que l'ordre des tokens est correctement maintenu pour les embeddings NextN non masqués et compatible avec les divisions de tenseurs.

github llama.cpp · il y a 22 h · 1 vue

llama.cpp b11301 corrige un débordement entier dans ggml/gguf

Le projet llama.cpp a publié la compilation b11301, qui inclut une correction pour un problème de débordement entier au sein des composants ggml et gguf. Cette mise à jour traite la logique de validation pour prévenir d'éventuelles erreurs lors de la manipulation de tenseurs à zéro élément.

github llama.cpp · il y a 23 h · 3 vues

llama.cpp b11302 corrige une course de données ThreadSanitizer dans l'indexeur creux

Le projet llama.cpp a publié la version b11302, qui résout un problème critique de concurrence identifié par ThreadSanitizer dans le pipeline CI. La mise à jour corrige une course de données au sein du mécanisme d'attention creuse où plusieurs threads CPU écrivaient incorrectement sur les mêmes éléments mémoire.

github llama.cpp · il y a 23 h · 2 vues

llama.cpp b11298 ajoute le support de dflash pour la conversion et l'extraction de fonctionnalités

Le projet llama.cpp a publié la compilation b11298, qui introduit le support du format dflash. Cette mise à jour permet à la fois la conversion des modèles vers ce format et les capacités ultérieures d'extraction de fonctionnalités.

github llama.cpp · il y a 1 j · 3 vues

llama.cpp b11284 corrige GET_ROWS sur les vues de poids quantifiés pour OpenVINO

Le projet llama.cpp a publié la version b11284, qui inclut une correction pour le backend OpenVINO afin de gérer correctement les opérations GET_ROWS sur les vues de poids quantifiés.