media r/LocalLLaMA · il y a 20 h · open_models

gtrg55 lance la version quantisée en INT4 de NVIDIA Cosmos3 64B pour la génération d'images locale

Traduit de English → Français

Un utilisateur a publié du code et des poids pour exécuter localement le modèle Cosmos3 de NVIDIA avec 64 milliards de paramètres en utilisant la quantification INT4. L'implémentation prend en charge les tâches Texte-vers-Image et Image-vers-Vidéo sur Apple Silicon via MLX, ainsi que CUDA.

Le dépôt fournit le code GitHub et les poids Hugging Face pour le modèle Cosmos3-Super-Text2Image-4Step-INT4-G64-BF16.
La quantification permet d'exécuter le grand modèle de 64B paramètres sur du matériel grand public, la génération d'un clip prenant environ cinq minutes sur un Mac M4 Max avec 128 Go de mémoire.
Le projet inclut une comparaison avec Grok pour démontrer les capacités de performance.

Cette release permet l'inférence locale de modèles de génération d'images de pointe sur des appareils qui manquent généralement de la VRAM requise pour les poids en précision complète.

Importance 2/3 r/LocalLLaMA NVIDIA Image generation Inference efficiency

Lire l'original

Nvidia présente FusionRelight pour le re-éclairage de portraits en temps réel via une fusion hybride de connaissances de domaine

Des chercheurs de Nvidia ont présenté FusionRelight, une méthode de re-éclairage de portraits qui combine un transfert d'illumination physiquement plausible avec la préservation de l'identité et une inférence compacte en temps réel. L'approche utilise la Fusion Hybride de Connaissances de Domaine (HDKF), un cadre d'entraînement qui distille les a priori de physique, de réflectance et de réalisme à partir de données synthétiques, One-Light-at-a-Time (OLAT) et in-the-wild dans un modèle étudiant.

lab NVIDIA Research · il y a 44 j · 25 vues

Quantification de codebook clusterisé pour la compression d'images basée sur des Gaussiennes 2D

Les chercheurs présentent Cluster-Guided Vector Quantization (CGVQ), une méthode conçue pour améliorer les performances taux-distorsion de la compression d'images basée sur des primitives gaussiennes. L'approche partitionne les paramètres de Gaussienne en groupes homogènes avant la quantification, traitant l'inefficacité causée par le stockage de grands nombres de paramètres à virgule flottante par primitive.

arxiv arXiv cs.LG · il y a 6 j · 10 vues

FlashAttention-4 introduit Direct-P pour l'inférence et l'entraînement FP4 sensibles au matériel

FlashAttention-4 comble les limitations de performance des cœurs tensoriels 4 bits (FP4) de Blackwell en introduisant de nouveaux chemins pour l'inférence non causale et l'entraînement causal. La méthode, appelée Direct-P, mappe directement les scores aux probabilités FP4 afin de contourner les surcoûts de conversion softmax qui dominent généralement lorsque les produits matriciels diminuent.

github llama.cpp · il y a 7 j · 10 vues

llama.cpp ajoute le support pour NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduit le support pour le modèle NVIDIA Nemotron-3-Puzzle-75B-A9B, permettant l'inférence pour cette architecture de Mixture of Experts. La mise à jour implémente une infrastructure pour les tailles de feed-forward des experts par couche variables et le routage top-k, qui sont requis car le modèle possède 40 couches MoE avec des valeurs distinctes de n_ff_exp et top-k.

lab OpenAI News · il y a 16 j · 29 vues

OpenAI rapporte que la puce Jalapeño offre une latence jusqu'à 3,6 fois inférieure et une efficacité 1,9 fois supérieure

OpenAI a publié les premiers résultats de performance de Jalapeño, sa première puce d'inférence personnalisée, démontrant des gains significatifs en vitesse et en efficacité énergétique par rapport aux systèmes commerciaux existants. L'entreprise indique que la nouvelle architecture permet un débit plus élevé et une latence plus faible simultanément, répondant à un compromis courant dans le matériel actuel.