github llama.cpp · il y a 1 j · inference

llama.cpp b10068 fait pivoter le cache K/V injecté pour DFlash

Traduit de English → Français

Le projet llama.cpp a publié la version b10068, qui introduit une modification dans l'implémentation du modèle DFlash. La mise à jour modifie src/models/dflash.cpp pour faire pivoter le cache de clé/valeur (K/V) injecté lorsque la quantification K/V est utilisée.

Cette version fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et openEuler.

La mise à jour assure une gestion correcte du cache pour les modèles DFlash dans des conditions de quantification.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10067 exclut la table de routage de DeepSeek-V4 de la quantisation

Le projet llama.cpp a publié la version b10067, qui inclut une correction pour l'outil `llama-quantize` afin de gérer correctement les modèles DeepSeek-V4. La mise à jour empêche le quantiseur d'essayer de convertir le tenseur `ffn_gate_tid2eid`, une table d'index token-to-expert i32, en un type float.

github llama.cpp · il y a 2 j

llama.cpp b10066 ajoute le support du kernel kernel_gemm_moe_q6_k_f32_ns via OpenCL

Le projet llama.cpp a publié la version b10066, introduisant le support du noyau `kernel_gemm_moe_q6_k_f32_ns` via OpenCL. Cette mise à jour permet le chargement et l'utilisation de cette bibliothèque de noyaux binaires spécifique au sein du framework.

github llama.cpp · il y a 2 j

llama.cpp b10067 exclut la table de routage de DeepSeek-V4 de la quantisation

llama.cpp b10066 ajoute le support du kernel kernel_gemm_moe_q6_k_f32_ns via OpenCL

Publication de llama.cpp b10064 avec optimisation de transposition OpenCL

llama.cpp b10059 définit ggml-blas default hadamard mul_mat sur la routine CPU

llama.cpp b10057 corrige les noyaux Q5_K de SYCL et publie des binaires