Le projet llama.cpp a publié la version b11120, qui corrige un bug critique dans le backend Vulkan en masquant les symboles internes. Ce changement empêche les problèmes de destruction d'état dus à des appels dupliqués à dlopen qui survenaient lorsque les symboles internes étaient exportés.
Les chercheurs présentent CliffCompaction, une technique d'autocompaction conçue pour réduire les coûts des agents de codage à long terme jusqu'à 50 % dans un contexte borné. La méthode maintient ou améliore la performance sur Terminal-Bench et atteint des résultats de pointe sur KernelBench en conservant une information compacte fidèle par troncature plutôt que par reformulation.
Les chercheurs présentent CliffCompaction, une technique d'autocompaction conçue pour les agents traitant des millions de tokens, qui réduit les coûts jusqu'à 50 % dans un contexte borné. La méthode maintient ou améliore les performances sur Terminal-Bench et atteint des résultats de pointe sur KernelBench en conservant la fidélité de l'information par troncature plutôt que par reformulation.
Le projet llama.cpp a publié la version b11118, qui inclut une nouvelle fonctionnalité hex-dma introduisant un cache DMA à mappage direct mieux adapté à la gestion des masques FA Hexagon Vector eXtended (HVX).
Parallel a intégré GPT-6 Astra d'OpenAI dans son infrastructure d'agents IA, réalisant une réduction de 50% du temps de recherche et des coûts de code par rapport aux modèles précédents. L'entreprise indique que le nouveau modèle permet aux agents d'accomplir des travaux de connaissances complexes beaucoup plus rapidement tout en maintenant une sortie de haute qualité.
Le projet llama.cpp a publié la compilation b11111, qui introduit des noyaux d'optimisation flash attention basés sur Vulkan pour les chemins split k sur les architectures Xe-LPG Plus, Xe2 et Xe3.
Le projet llama.cpp a ajouté le support du décodage spéculatif DFlash avec le modèle HunyuanOCR en exposant les tenseurs d'entrée des couches dans le graphe cible. Ce changement permet au modèle de brouillon de lire les flux résiduels, permettant aux requêtes d'image de s'exécuter avec succès avec un taux d'acceptation du brouillon d'environ 0,5 et une sortie OCR identique en octets par rapport aux exécutions non spéculatives.
Le projet llama.cpp a publié la version b11104, introduisant une nouvelle fonctionnalité permettant au composant llama-server de se lier simultanément à plusieurs adresses réseau.
Le projet llama.cpp a publié la compilation b11102, qui introduit le support pour convertir les modèles MiMo-V2.6.
Le projet llama.cpp a publié la version b11101, qui inclut une correction du système de compilation permettant des appels répétés à find_package pour la bibliothèque llama.
La bibliothèque Transformers de Hugging Face prend désormais en charge le chargement de modèles quantifiés GGUF, en s'appuyant sur les noyaux ggml sous-jacents pour offrir des performances proches de celles de llama.cpp. Cette intégration permet aux développeurs d'exécuter des points de contrôle quantifiés directement au sein de l'API standard basée sur PyTorch sur le matériel pris en charge.
Le projet llama.cpp a publié la compilation b11100, qui résout un problème spécifique de parsing avec le modèle Muse Glimmer. Le changement principal consiste à corriger la première erreur de parseur rencontrée lors de l'exécution de l'appel d'outil pour ce modèle.
Le projet llama.cpp a publié la version b11097, qui introduit un noyau binaire OpenCL pour le format A8 Q4_0 non-MoE dp4a.
Jen Wei a rencontré une spirale de mort du taux d'apprentissage lors des tests d'AdamW, Muon et de la dernière implémentation de Dion3 au sein d'OLMo-core pour une prochaine conférence PyTorch.
Un utilisateur prévoit de construire un grand modèle de langage natif au grec et sans censure pour un déploiement local en utilisant le checkpoint ilsp/Llama-Krikri-8B-Instruct. Le plan proposé implique d'abréger le modèle avec Heretic (heretic-llm), de le convertir au format GGUF Q4_K_M, et d'exécuter l'inférence sur un GMKtec EVO-X3 équipé d'un processeur AMD Ryzen AI MAX+ 395 via Vulkan.
Together AI a introduit les déploiements Canary, une fonctionnalité qui migre le trafic en direct d'un modèle actuel vers un nouveau checkpoint par étapes avec des portes (gates). Ce système automatise le mécanisme de sécurité pour l'échange de modèles en exécutant des vérifications de santé et des portes de métriques optionnelles avant de déplacer le trafic, permettant des pauses et des annulations automatiques si les performances se dégradent.
Les chercheurs proposent AgentRouter, un classificateur léger qui optimise les workflows agents multi-étapes en acheminant les étapes individuelles de la trajectoire vers des niveaux de modèles appropriés plutôt que d'utiliser des modèles de pointe pour chaque tâche. Le système répond à l'inefficacité des solutions existantes qui ignorent la complexité variable des sous-tâches au sein d'une seule session agent.
La version llama.cpp b11095 introduit une nouvelle implémentation de GATED_DELTA_NET (GDN) optimisée pour HMX, ainsi que diverses optimisations pour les noyaux Hexagon et Flash Attention.
Les chercheurs proposent AgentRouter, un classificateur léger qui optimise les workflows agents multi-étapes en acheminant les étapes individuelles des trajectoires vers des niveaux de modèles appropriés plutôt que d'utiliser un seul modèle de pointe pour toutes les tâches. Le système répond à l'inefficacité des systèmes d'entreprise qui gaspillent 60 à 80 % de leur budget d'inférence sur des sous-tâches que des modèles plus petits peuvent traiter aussi bien.
Le projet llama.cpp a publié la version b11090, qui inclut une correction pour une erreur de compilation des tuiles sm_70. La mise à jour généralise la forme de la tuile de la fonction load_ldmatrix à 5 arguments afin de résoudre les incompatibilités avec les architectures Volta.