github llama.cpp · il y a 1 h · inference

llama.cpp b10085 corrige l'ancrage de Qwen3-VL en alignant l'interpolation des embeddings de position

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10085, qui inclut une correction pour l'interpolation des embeddings de position du modèle de vision Qwen3-VL afin de résoudre les incohérences des coordonnées d'ancrage.

Le changement bascule la méthode d'interpolation du bilinéaire+antialias par défaut (align_corners=False) vers align_corners=True, correspondant à l'implémentation de référence de transformers.
Cela corrige les problèmes de mise à l'échelle des coordonnées d'ancrage qui augmentaient précédemment avec la taille de l'image et variaient par axe pour les images non carrées.
Les binaires sont disponibles pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) et openEuler.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10069 ajoute le support de diffusion OpenCL pour Adreno MUL_MAT

Le projet llama.cpp a publié la compilation b10069, qui comprend des mises à jour OpenCL spécifiques pour les GPU Qualcomm Adreno. Le changement principal implique la prise en charge des opérations de diffusion pour le noyau Adreno MUL_MAT et le respect des décalages de vue pour la variante Q8_0 MUL_MAT afin d'activer la fonctionnalité multi-stream dans llama-server.

github llama.cpp · il y a 4 j · 1 vue

llama.cpp b10068 fait pivoter le cache K/V injecté pour DFlash

Le projet llama.cpp a publié la version b10068, qui introduit une modification dans l'implémentation du modèle DFlash. La mise à jour modifie src/models/dflash.cpp pour faire pivoter le cache de clé/valeur (K/V) injecté lorsque la quantification K/V est utilisée.

github llama.cpp · il y a 4 j · 1 vue

llama.cpp b10067 exclut la table de routage de DeepSeek-V4 de la quantisation

Le projet llama.cpp a publié la version b10067, qui inclut une correction pour l'outil `llama-quantize` afin de gérer correctement les modèles DeepSeek-V4. La mise à jour empêche le quantiseur d'essayer de convertir le tenseur `ffn_gate_tid2eid`, une table d'index token-to-expert i32, en un type float.

github llama.cpp · il y a 5 j

llama.cpp b10066 ajoute le support du kernel kernel_gemm_moe_q6_k_f32_ns via OpenCL

Le projet llama.cpp a publié la version b10066, introduisant le support du noyau `kernel_gemm_moe_q6_k_f32_ns` via OpenCL. Cette mise à jour permet le chargement et l'utilisation de cette bibliothèque de noyaux binaires spécifique au sein du framework.

github llama.cpp · il y a 5 j · 5 vues

Publication de llama.cpp b10064 avec optimisation de transposition OpenCL

Le projet llama.cpp a publié la version b10064, qui comprend une modification du backend OpenCL. Cette mise à jour modifie le format de quantification q4_K en transposant les échelles noshuffle pour activer les lectures groupées.