github llama.cpp · à l'instant · inference

llama.cpp b10738 ajoute une limite de mémoire fixe hôte pour SYCL

Traduit de English → Français

Le projet llama.cpp a publié la version b10738, fournissant des binaires pour macOS, Linux, Windows, Android et openEuler sur CPU, GPU et divers backends d'accélérateurs.

La release inclut une mise à jour spécifique du support SYCL qui limite la mémoire d'allocation maximale à 2 Go pour la mémoire fixe hôte.
Les builds macOS Apple Silicon avec KleidiAI sont désactivés dans cette version.
Le support preview de CUDA 13 pour Windows arm64 est inclus.
Les binaires ROCm 7.14 et OpenVINO 2026.3.1 sont disponibles pour Ubuntu et Windows.

Cette mise à jour permet aux utilisateurs d'accéder aux dernières fonctionnalités de llama.cpp sur le matériel pris en charge, avec une attention particulière aux contraintes de mémoire dans les implémentations SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

Hugging Face publie 207 noyaux WebGPU et un outil de benchmarking navigateur

Hugging Face a publié @huggingface/kernels, une bibliothèque pour charger et exécuter des noyaux WebGPU optimisés depuis le Hub Hugging Face, accompagnée d'une collection initiale de 207 noyaux. La publication introduit également Fleet, une suite de benchmarking GPU dans le navigateur qui mutualise les preuves de performance et de correction issues des appareils des utilisateurs.

github llama.cpp · il y a 2 h · 11 vues

llama.cpp b10737 corrige la sauvegarde/restauration de l'état qwen4exp et désactive le tenseur -sm

Le projet llama.cpp a publié la version b10737, qui corrige des bugs critiques dans le support de l'architecture qwen4exp. La mise à jour résout les problèmes de persistance de l'état de séquence et empêche les aborts CUDA lors du chargement du modèle.

github llama.cpp · il y a 11 h · 2 vues

llama.cpp b10730 optimise le traitement des prompts de Qwen4exp en additionnant les têtes indexeur par tranches

Le projet llama.cpp a publié la version b10730, qui inclut des optimisations pour l'architecture du modèle Qwen4exp. Le changement principal consiste à additionner les têtes indexeur par tranches au lieu d'utiliser une opération de transposition et de sum_rows, réduisant ainsi la surcharge de copie mémoire.

github llama.cpp · il y a 19 h · 3 vues

llama.cpp b10727 ajoute le support de la concaténation pour les types quantifiés

Le projet llama.cpp a publié la version b10727, qui introduit le support de la concaténation pour les types de données quantifiés. Cette mise à jour est assistée par DeepSeek-V4-Flash-0731 et inclut des binaires pour macOS, Linux, Windows, Android et openEuler sur divers backends matériels incluant CPU, CUDA, ROCm et Vulkan.

github llama.cpp · il y a 21 h · 6 vues

llama.cpp b10726 accélère le traitement des prompts de modèles IQ en grands lots avec AVX2

Le projet llama.cpp a publié la version b10726, qui introduit des optimisations de performance significatives pour traiter de grandes tailles de lots dans les modèles quantifiés IQ. La mise à jour principale exploite les instructions AVX2 pour accélérer les quants IQ de grille via des opérations GEMM par lot.