media r/LocalLLaMA · hace 20 h · open_models

gtrg55 lanza la versión cuantizada en INT4 de NVIDIA Cosmos3 64B para generación de imágenes local

Traducido del English → Español

Un usuario ha publicado código y pesos para ejecutar el modelo Cosmos3 de NVIDIA con 64 mil millones de parámetros localmente utilizando cuantización INT4. La implementación soporta tareas de Texto a Imagen e Imagen a Video en Apple Silicon vía MLX, así como CUDA.

El repositorio proporciona código en GitHub y pesos en Hugging Face para el modelo Cosmos3-Super-Text2Image-4Step-INT4-G64-BF16.
La cuantización permite que el gran modelo de 64B parámetros se ejecute en hardware de consumo, con una generación de clip que toma aproximadamente cinco minutos en un Mac M4 Max con 128 GB de memoria.
El proyecto incluye una comparación con Grok para demostrar las capacidades de rendimiento.

Este lanzamiento permite la inferencia local de modelos de generación de imágenes de última generación en dispositivos que típicamente carecen del VRAM requerido para pesos de precisión completa.

Importancia 2/3 r/LocalLLaMA NVIDIA Image generation Inference efficiency

Leer original

Nvidia presenta FusionRelight para el realce de iluminación en retratos en tiempo real mediante la fusión híbrida de conocimiento del dominio

Investigadores de Nvidia han presentado FusionRelight, un método para el realce de iluminación en retratos que combina la transferencia de iluminación físicamente plausible con la preservación de la identidad y una inferencia compacta en tiempo real. El enfoque utiliza la Fusión Híbrida de Conocimiento del Dominio (HDKF), un marco de entrenamiento que destila priores de física, reflectancia y realismo a partir de datos sintéticos, One-Light-at-a-Time (OLAT) y del mundo real en un modelo estudiante.

lab NVIDIA Research · hace 44 d · 25 vistas

Cuantización de código agrupado para compresión de imágenes basada en Gaussiana 2D

Los investigadores presentan Cluster-Guided Vector Quantization (CGVQ), un método diseñado para mejorar el rendimiento de tasa-distorsión en la compresión de imágenes basada en primitivas gaussianas. El enfoque particiona los parámetros de Gaussiana en grupos homogéneos antes de la cuantización, abordando la ineficiencia causada por almacenar grandes cantidades de parámetros de punto flotante por primitiva.

arxiv arXiv cs.LG · hace 85 d · 7 vistas

AoiZora: Optimización auto-paralela consciente de la topología para inferencia de difusión de video

AoiZora es un planificador de topología mediado por compilador que mejora la inferencia de difusión de video de baja latencia en sub-slices de TPU. Al alinear el fragmentado lógico con la colocación física a través del flujo de compilación, reduce la latencia de desruido de un paso hasta 1.42x en sub-slices de TPU v5e en comparación con los métodos existentes.

arxiv arXiv cs.LG · hace 6 d · 10 vistas

FlashAttention-4 introduce Direct-P para inferencia y entrenamiento de FP4 consciente del hardware

FlashAttention-4 aborda las limitaciones de rendimiento de los núcleos de tensor de punto flotante de 4 bits (FP4) de Blackwell introduciendo nuevas rutas para la inferencia no causal y el entrenamiento causal. El método, llamado Direct-P, mapea las puntuaciones directamente a probabilidades FP4 para evitar los sobrecostos de conversión de softmax que suelen dominar una vez que los productos matriciales se reducen.

github llama.cpp · hace 7 d · 10 vistas

llama.cpp añade soporte para NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduce soporte para el modelo NVIDIA Nemotron-3-Puzzle-75B-A9B, habilitando la inferencia para esta arquitectura de Mezcla de Expertos. La actualización implementa infraestructura para tamaños de alimentación hacia adelante de expertos por capa variables y enrutamiento top-k, que son necesarios porque el modelo tiene 40 capas MoE con valores distintos de n_ff_exp y top-k.