Le projet llama.cpp a publié la version b11120, qui corrige un bug critique dans le backend Vulkan en masquant les symboles internes. Ce changement empêche les problèmes de destruction d'état dus à des appels dupliqués à dlopen qui survenaient lorsque les symboles internes étaient exportés.
Le projet llama.cpp a publié la version b11118, qui inclut une nouvelle fonctionnalité hex-dma introduisant un cache DMA à mappage direct mieux adapté à la gestion des masques FA Hexagon Vector eXtended (HVX).
Le projet llama.cpp a ajouté le support du décodage spéculatif DFlash avec le modèle HunyuanOCR en exposant les tenseurs d'entrée des couches dans le graphe cible. Ce changement permet au modèle de brouillon de lire les flux résiduels, permettant aux requêtes d'image de s'exécuter avec succès avec un taux d'acceptation du brouillon d'environ 0,5 et une sortie OCR identique en octets par rapport aux exécutions non spéculatives.
Le projet llama.cpp a publié la version b11104, introduisant une nouvelle fonctionnalité permettant au composant llama-server de se lier simultanément à plusieurs adresses réseau.
Le projet llama.cpp a publié la compilation b11102, qui introduit le support pour convertir les modèles MiMo-V2.6.
La bibliothèque Transformers de Hugging Face prend désormais en charge le chargement de modèles quantifiés GGUF, en s'appuyant sur les noyaux ggml sous-jacents pour offrir des performances proches de celles de llama.cpp. Cette intégration permet aux développeurs d'exécuter des points de contrôle quantifiés directement au sein de l'API standard basée sur PyTorch sur le matériel pris en charge.
Jun Kim, créateur et mainteneur d'oMLX, a rejoint Hugging Face pour soutenir la communauté MLX. Cette démarche vise à fournir de la stabilité et un développement plus rapide au projet open-source en le faisant passer d'un travail secondaire à une initiative entièrement maintenue et financée.
Un utilisateur prévoit de construire un grand modèle de langage natif au grec et sans censure pour un déploiement local en utilisant le checkpoint ilsp/Llama-Krikri-8B-Instruct. Le plan proposé implique d'abréger le modèle avec Heretic (heretic-llm), de le convertir au format GGUF Q4_K_M, et d'exécuter l'inférence sur un GMKtec EVO-X3 équipé d'un processeur AMD Ryzen AI MAX+ 395 via Vulkan.
Le projet llama.cpp a publié la version b11090, qui inclut une correction pour une erreur de compilation des tuiles sm_70. La mise à jour généralise la forme de la tuile de la fonction load_ldmatrix à 5 arguments afin de résoudre les incompatibilités avec les architectures Volta.
Le projet llama.cpp a publié la version b11081, qui inclut plusieurs mises à jour de l'infrastructure de test `test-llama-archs`. Les modifications clés consistent à rendre configurable l'écart-type des données tensorielles, à élargir les exemples d'utilisation et à ajouter la prise en charge des motifs regex pour les architectures.
Le projet llama.cpp a publié la compilation b11074, qui inclut une correction pour la gestion des enums JSON. La mise à jour ajoute le support de common_json_value pour les valeurs enum et simplifie le code en déléguant le constructeur enum au constructeur du type sous-jacent.
Le projet llama.cpp a publié la compilation b11067, qui introduit une opération de GDN + copie fusionnée pour le backend WebGPU.
Le projet llama.cpp a publié la compilation b11060, qui inclut une correction pour le modèle Mamba afin de garantir que l'entrée de projection d'étape temporelle soit contiguë. Ce changement résout les problèmes de disposition de la mémoire dans l'implémentation de Mamba.
Le projet llama.cpp a publié la version b11054, qui ajoute le support de l'opérateur TOP_K sur les DSP Qualcomm Hexagon. Cette mise à jour inclut des optimisations pour le traitement par ligne unique et des corrections pour le partitionnement des lignes.
Le projet llama.cpp a publié la version b11055, qui introduit le support de la fonction d'activation GEGLU_QUICK sur les DSP Hexagon.
Le projet llama.cpp a publié la version b11053, qui comprend une amélioration spécifique des messages de journal de démarrage du serveur. Ce changement améliore la visibilité sur la manière dont les modèles sont chargés en remplaçant les marqueurs cryptiques par des balises de source explicites.
Le projet llama.cpp a publié la compilation b11048, qui introduit le support des nouvelles variantes d'opération HC DSV4 utilisées par qwen4exp. Cette mise à jour inclut des implémentations spécifiques pour hc_pre avec une porte sigmoïde par élément et hc_post avec un mélange d'identité.
La version de Celestium CARE pour NVIDIA est terminée et disponible en tant qu'outil professionnel pour les cartes graphiques GTX et RTX. Elle utilise NVML pour fournir des fonctionnalités telles que le nettoyage de la VRAM, des calendriers de nettoyage automatique et une surveillance complète de la télémétrie.
Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.
Le projet llama.cpp a publié la version b11042, qui introduit un nouveau noyau binaire OpenCL pour les modèles A8 Q6_K non-MoE. Cette mise à jour comprend également des correctifs de compatibilité de disposition au sein du backend OpenCL.