github llama.cpp · il y a 1 h · inference

llama.cpp b10632 ajoute le MMA SSD fractionné pour l'optimisation du pré-remplissage de Mamba-2

Traduit de English → Français

Le projet llama.cpp a publié la version b10632, qui introduit une optimisation MMA SSD fractionnée pour le pré-remplissage de Mamba-2 via ggml-metal.

Ajoute des noyaux WIP SSM_SCAN SSD fractionnés pour le pré-remplissage multi-jeton sur Metal.
Supprime le chemin SSD scalaire au profit du MMA combiné avec une queue séquentielle.
Réserve K jetons pour les instantanés de rollback du noyau séquentiel et réinitialise la concurrence entre MMA et seq tail.
Spécialise la queue ssm_scan avec un modèle et met à jour les constantes pour plus de clarté.

Cette mise à jour fournit des binaires pour macOS, iOS, Linux, Windows, Android et openEuler sur divers backends matériels, y compris CPU, CUDA, ROCm, Vulkan et OpenVINO.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10628 ajoute le support du transport RPC Apple RDMA

Le projet llama.cpp a publié la version b10628, introduisant le support d'Apple RDMA en tant que mécanisme de transport d'appel de procédure distante (RPC).

lab OpenAI News · il y a 19 h · 6 vues

OpenAI rapporte que la puce Jalapeño offre une latence jusqu'à 3,6 fois inférieure et une efficacité 1,9 fois supérieure

OpenAI a publié les premiers résultats de performance de Jalapeño, sa première puce d'inférence personnalisée, démontrant des gains significatifs en vitesse et en efficacité énergétique par rapport aux systèmes commerciaux existants. L'entreprise indique que la nouvelle architecture permet un débit plus élevé et une latence plus faible simultanément, répondant à un compromis courant dans le matériel actuel.

media r/LocalLLaMA · il y a 21 h · 1 vue

Quantization-Aware Healing : un modèle compressé en 4 bits qui surpasse son original en précision complète

L'article présente Quantization-Aware Healing, une méthode pour créer un modèle compressé en 4 bits qui atteint des performances supérieures à celles de son original en précision complète.

github llama.cpp · il y a 21 h · 1 vue

llama.cpp b10622 corrige le plantage OOM de Metal sur iOS/macOS

Le projet llama.cpp a publié la compilation b10622, qui inclut une correction critique pour le backend Metal afin d'éviter les plantages par manque de mémoire. La mise à jour traite un problème où le retour de `ggml_metal_buffer_init` à NULL en raison d'une échec d'allocation n'était pas vérifié, entraînant un plantage dur via `EXC_BAD_ACCESS` lors de la déréférencement du pointeur nul.

lab Hugging Face Blog · il y a 21 h · 1 vue

Papers with Code utilise les services de Hugging Face pour une recherche hybride d'articles

Papers with Code a mis en place un système de recherche hybride combinant le retour par mots-clés et la récupération sémantique afin d'aider les utilisateurs à trouver des articles de recherche pertinents sur l'IA. L'architecture exploite Hugging Face Jobs, Storage Buckets et Inference Endpoints pour gérer le pipeline d'embedding et servir des requêtes à faible latence.