github llama.cpp · il y a 1 h · inference

llama.cpp b10203 ajoute le support SYCL pour la multiplication de matrices q2_0

Traduit de English → Français

Le projet llama.cpp a publié la version b10203, qui introduit le support du format de quantification q2_0 dans les opérations de multiplication de matrices basées sur SYCL. Cette mise à jour étend la compatibilité de la bibliothèque pour des scénarios spécifiques d'accélération matérielle.

Ajoute le support de q2_0 dans mul_mat via la PR #26231.
Étend la couverture aux cas supplémentaires de q2_0 au sein du backend SYCL.
Fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et openEuler.

La publication permet aux utilisateurs d'utiliser la quantification q2_0 sur des appareils compatibles SYCL, élargissant ainsi la gamme des configurations matérielles prises en charge pour une inférence de modèle efficace.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10206 impose les mêmes types de cache K et V pour les modèles DeepSeek V4 et MLA

Le projet llama.cpp a publié la version b10206, qui introduit des modifications spécifiques concernant la gestion des caches clé-valeur dans les mécanismes d'attention. La mise à jour garantit que les types de cache K et V restent cohérents pour les modèles DeepSeek V4.

github llama.cpp · il y a 2 h

Publication de llama.cpp b10202 avec fusion SYCL RMS_NORM

Le projet llama.cpp a publié la version b10202, introduisant une optimisation SYCL qui fusionne les opérations RMS_NORM et MUL.

github llama.cpp · il y a 4 h · 1 vue

llama.cpp b10201 améliore flash attention pour KV quantifié sur longs contextes

Le projet llama.cpp a publié la version b10201, qui inclut une amélioration clé du backend ggml-webgpu. Cette mise à jour améliore les performances de flash attention lors de la gestion des caches clé-valeur quantifiés pendant la génération de contexte long.

media Latent Space · il y a 7 h

OpenAI réduit les prix de GPT-5.6 jusqu'à 80 % grâce à l'auto-optimisation

OpenAI a annoncé des baisses de prix significatives pour ses modèles GPT-5.6, motivées par des améliorations systémiques d'efficacité et des techniques d'auto-optimisation récursive. L'entreprise signale que le coût de l'intelligence de niveau GPT-5.4 a chuté d'environ 13x en quatre mois, avec les prix de GPT-5.6 Luna réduits de 80 % et Terra de 20 %.

blog Simon Willison · il y a 14 h · 2 vues

OpenAI réduit le prix de GPT-5.6 Luna de 80 % en utilisant Sol pour optimiser l'inférence

OpenAI a considérablement réduit la tarification de sa famille de modèles GPT-5.6, introduisant une baisse massive de 80 % pour GPT-5.6 Luna et une réduction de 20 % pour GPT-5.6 Terra. Ces changements sont rendus possibles par GPT-5.6 Sol, qui optimise le passage avant du modèle et les noyaux de production pour améliorer l'efficacité.