github llama.cpp · il y a 2 h · inference

llama.cpp 0.4.0 ajoute le support de Qwen3.8-Flash-Next et Nemotron-3-Puzzle

Traduit de English → Français

llama.cpp version 0.4.0 introduit le support d'architecture initial pour les modèles Qwen3.8-Flash-Next et NVIDIA Nemotron-3-Puzzle-75B-A9B, ainsi qu'une mise à jour de la bibliothèque sous-jacente ggml vers la version 0.23.0.

Ajout de la lecture paresseuse de tenseurs à la demande et des limites de contexte serveur par slot.
Mise à jour de ggml vers 0.23.0 avec l'attention flash clairsemée et le support du transport Apple RDMA.
Introduction des options d'entrée vidéo, de la recherche d'historique n-gramme et des plafonds de RAM pour le quantiseur.
Activation par défaut de `preserve_reasoning` dans le serveur et amélioration des assistants de tokenisation multimodale.

Ces modifications étendent la compatibilité des modèles et offrent aux développeurs un contrôle plus fin sur l'utilisation de la mémoire et l'allocation des ressources du serveur.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Multimodal

Lire l'original

llama.cpp 0.3.0 ajoute le modèle dots3-note et la répartition de tenseur pour DeepSeek 4

llama.cpp 0.3.0 introduit la prise en charge du modèle multimodal dots3-note avec un nouveau type de cache KV DSA-ISWA, ainsi que la prise en charge de la prédiction multi-tokens (MTP) pour GLM-4.5-Air. La version ajoute également des capacités de répartition de tenseur pour DeepSeek 4 et corrige les problèmes de rollback multi-séquences.

media r/LocalLLaMA · il y a 51 j · 17 vues

OvisOCR2 en tête du OmniDocBench, premier modèle de parsing de documents de bout en bout

ATH-MaaS a publié OvisOCR2, un modèle vision-langage de 0.8B post-entraîné à partir de Qwen3.5-0.8B, qui est le premier modèle de bout en bout à atteindre la tête du classement OmniDocBench avec un score de 96.58 sur la version v1.6.

github llama.cpp · il y a 18 h · 1 vue

llama.cpp b10795 fusionne les opérations SYCL

Le projet llama.cpp a publié la version b10795, qui inclut une nouvelle optimisation pour le backend SYCL. Cette mise à jour permet la fusion des chaînes RMS_NORM+MUL+ADD et ADD+ADD residual sous le drapeau GGML_SYCL_ENABLE_FUSION.

github llama.cpp · il y a 1 j · 3 vues

llama.cpp b10791 ajoute des optimisations OpenCL pour la quantification de lm_head et le GEMV de décodage

Le projet llama.cpp a publié la version b10791, introduisant des optimisations OpenCL significatives pour les têtes de modèles de langage quantifiées et les opérations GEMV de décodage. Cette mise à jour inclut également des améliorations du GEMM par lots moyens pertinentes pour le décodage spéculatif et la prédiction multi-jeton.

media r/LocalLLaMA · il y a 1 j · 4 vues

IFM publie K2-Horizon-MoVA-36B-A4B, un modèle MoE creux avec 4B de paramètres actifs

IFM a publié le checkpoint final pour K2-Horizon-MoVA-36B-A4B, un modèle Mixture-of-Experts présentant une attention Mixture-of-Values qui stocke 36B de paramètres mais n'exécute que 4B par token. Le lancement inclut les formats GGUF et des liens vers des variantes plus petites de la famille K2-Horizon.