github llama.cpp · il y a 1 h · inference

llama.cpp b10416 corrige le cache UI obsolète sur llama.app

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10416, traitant un problème de cache sur le site web llama.app où le fichier index.html était épinglé aux anciennes compilations en raison d'en-têtes immuables.

Le serveur sert désormais index.html sans cache, permettant sa revalidation via ETag et empêchant les versions UI obsolètes.
Les compilations macOS Apple Silicon (arm64) sont disponibles au téléchargement.
Les binaires macOS Intel (x64) sont inclus dans la release.
L'iOS XCFramework est fourni pour l'intégration mobile.
Les compilations CPU Ubuntu x64, arm64 et s390x sont publiées.
Les variantes Ubuntu Vulkan et OpenVINO sont disponibles pour Linux.
Les compilations Windows x64 et arm64 prennent en charge CPU, CUDA 12/13, OpenCL, Vulkan, ROCm 7.14 et SYCL.
Les binaires Android arm64 (CPU) sont inclus.
Les compilations openEuler x86 et aarch64 avec support ACL Graph sont listées.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Le backend OpenVINO de llama.cpp ajoute le support de Qwen3.5 et des optimisations mémoire

Le projet llama.cpp a fusionné des mises à jour significatives pour son backend OpenVINO, permettant principalement le support de la famille de modèles Qwen3.5 et introduisant plusieurs techniques d'optimisation mémoire.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b10413 ajoute la détection automatique du type de spéculation à partir des métadonnées GGUF

Le projet llama.cpp a publié la version b10413, qui introduit la détection automatique du type de spécification du décodage spéculatif directement à partir des métadonnées du modèle draft GGUF.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10414 ajoute le support de TQ2_0 et optimise le noyau mul_mv

Le projet llama.cpp a publié la compilation b10414, introduisant le support du type de quantification ternaire GGML_TYPE_TQ2_0 dans le backend Metal. Cette mise à jour inclut également des optimisations pour le noyau mul_mv de tenseurs contigus (cont).

github llama.cpp · il y a 4 h · 1 vue

llama.cpp b10412 active l'échantillonnage backend pour dflash et dspark

Le projet llama.cpp a publié la version b10412, qui introduit le support de l'échantillonnage backend pour les backends dflash et dspark. Cette mise à jour permet également des valeurs p_min supérieures à 0 dans la logique d'échantillonnage backend et ajoute les sauvegardes correspondantes.

lab OpenAI News · il y a 5 h · 1 vue

OpenAI présente le mode Ultrafast exécutant GPT-5.6 Sol jusqu'à 14 fois plus rapidement

OpenAI lance une préversion d'Ultrafast, un nouveau niveau de service qui exécute le modèle GPT-5.6 Sol jusqu'à 14 fois plus vite que le traitement standard. Alimenté par du matériel Cerebras, ce mode génère jusqu'à 750 tokens de sortie par seconde et est initialement disponible via l'API OpenAI.