github llama.cpp · à l'instant · inference

llama.cpp b10792 corrige la génération de grammaire GBNF pour les schémas d'objets vides

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10792, qui inclut une correction pour la génération de grammaire GBNF adressant spécifiquement les problèmes avec les schémas d'objets vides.

Cette version fournit des binaires et des frameworks pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Android, Windows et openEuler sur divers backends matériels incluant CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL et OpenCL.

La mise à jour assure une génération correcte de la grammaire pour les schémas d'objets vides dans GBNF.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10791 ajoute des optimisations OpenCL pour la quantification de lm_head et le GEMV de décodage

Le projet llama.cpp a publié la version b10791, introduisant des optimisations OpenCL significatives pour les têtes de modèles de langage quantifiées et les opérations GEMV de décodage. Cette mise à jour inclut également des améliorations du GEMM par lots moyens pertinentes pour le décodage spéculatif et la prédiction multi-jeton.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b10790 ajuste le croisement de MMVQ vers MMQ pour SM87

Le projet llama.cpp a publié la compilation b10790, qui comprend un ajustement spécifique du croisement de MMVQ vers MMQ pour SM87.

media r/LocalLLaMA · il y a 7 h · 1 vue

IFM publie K2-Horizon-MoVA-36B-A4B, un modèle MoE creux avec 4B de paramètres actifs

IFM a publié le checkpoint final pour K2-Horizon-MoVA-36B-A4B, un modèle Mixture-of-Experts présentant une attention Mixture-of-Values qui stocke 36B de paramètres mais n'exécute que 4B par token. Le lancement inclut les formats GGUF et des liens vers des variantes plus petites de la famille K2-Horizon.

github llama.cpp · il y a 9 h · 2 vues

llama.cpp ajoute le support de l'attention flash clairsemée pour le préremplissage Metal

Le projet llama.cpp a introduit le support de l'attention flash clairsemée (FA) pour le backend Metal, ciblant spécifiquement la phase de préremplissage de l'inférence du modèle. Cette mise à jour inclut un nouveau noyau qui compacte les entrées de masque fini en listes d'index par ligne et étend le noyau vectoriel FA avec une récupération d'index clairsemée optionnelle.

github llama.cpp · il y a 10 h · 2 vues

llama.cpp b10782 corrige l'optimisation des graphes CUDA pour le multi-GPU

Le projet llama.cpp a publié la version b10782, qui résout un problème critique dans le backend CUDA pour les configurations multi-GPU. La mise à jour permet des flux concurrents par partition et active l'optimisation des graphes CUDA pour fonctionner correctement sur plusieurs appareils.