github llama.cpp · à l'instant · inference

llama.cpp b10900 active la fusion topk_moe pour le préremplissage via Vulkan

Traduit de English → Français

Le projet llama.cpp a publié la version b10900, qui comprend une mise à jour technique du backend Vulkan. Cette release ajoute une dépendance d'allocation spécifiquement pour activer l'optimisation de fusion topk_moe pendant la phase de préremplissage.

Le changement de code principal est l'ajout d'une dépendance d'allocation dans l'implémentation de Vulkan pour prendre en charge la fusion topk_moe pour les opérations de préremplissage.
Des binaires sont fournis pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android et iOS.

Le support KleidiAI pour macOS Apple Silicon est désactivé dans cette compilation.

Cette mise à jour offre aux utilisateurs des performances de préremplissage optimisées sur du matériel compatible Vulkan grâce à la technique de fusion nouvellement activée.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

CyberTiel 35B-A3B non censuré en quantification 4-bit bat Opus 4.6 medium sur les problèmes de base de code

Un chercheur anonyme a publié CyberTiel 35B-A3B, un modèle non censuré et quantifié en 4 bits conçu pour la recherche en sécurité offensive et l'ingénierie logicielle agentic. Le modèle est construit par ablération sur la base TielCoder et quantifié avec une imatrix améliorée dérivée d'un corpus de cybersécurité soigneusement sélectionné.

github llama.cpp · il y a 1 h En direct

llama.cpp b10899 ajoute des optimisations Vulkan pour Qwen et le support split_k

Le projet llama.cpp a publié la version b10899, introduisant des améliorations de performances spécifiques dans son backend Vulkan. La mise à jour se concentre sur l'optimisation des opérations matricielles pour la famille de modèles Qwen et l'amélioration des performances générales avec un M petit.

media Together AI Blog · il y a 1 h En direct

Together AI optimise les GEMM de ThunderKittens pour NVIDIA Vera Rubin NVL72

L'équipe des noyaux de Together AI a optimisé la bibliothèque ThunderKittens pour exploiter les nouvelles fonctionnalités de la plateforme NVIDIA Vera Rubin NVL72, en ciblant spécifiquement une performance améliorée pour les multiplications matricielles NVFP4 et FP8.

github llama.cpp · il y a 4 h · 1 vue

llama.cpp b10896 corrige l'échec de décodage DFlash avec les modèles de vision

Le projet llama.cpp a publié la compilation b10896, qui résout un problème critique où la mémoire du rédacteur échouait à allouer de nouveaux tokens lors de l'utilisation de DFlash avec des modèles de vision. Cet échec se produisait car les images rapportaient un décalage fixe, empêchant une allocation correcte des tokens.

media Hugging Face Forums · il y a 7 h · 1 vue

Un développeur cherche des conseils pour concevoir une architecture d'IA vocale rentable avec une latence du premier jeton d'environ 500 ms

Un développeur d'IA sollicite des conseils architecturaux pour construire un système d'IA vocale en temps réel atteignant une latence du premier jeton d'environ 500 ms ou moins, tout en restant rentable et évolutif.