media r/LocalLLaMA · há 20 h · open_models

gtrg55 lança versão quantizada em INT4 do NVIDIA Cosmos3 64B para geração de imagens local

Traduzido do English → Português (BR)

Um usuário publicou código e pesos para executar o modelo Cosmos3 da NVIDIA com 64 bilhões de parámetros localmente usando quantização INT4. A implementação suporta tarefas de Texto para Imagem e Imagem para Vídeo no Apple Silicon via MLX, bem como CUDA.

O repositório fornece código no GitHub e pesos no Hugging Face para o modelo Cosmos3-Super-Text2Image-4Step-INT4-G64-BF16.
A quantização permite que o grande modelo de 64B parámetros rode em hardware de consumo, com uma geração de clipe levando aproximadamente cinco minutos em um Mac M4 Max com 128 GB de memória.
O projeto inclui uma comparação com o Grok para demonstrar capacidades de desempenho.

Este lançamento permite a inferência local de modelos de geração de imagens de última geração em dispositivos que tipicamente não possuem VRAM suficiente para pesos de precisão completa.

Importância 2/3 r/LocalLLaMA NVIDIA Image generation Inference efficiency

Ler original

Nvidia apresenta FusionRelight para realinhamento de retratos em tempo real por meio da fusão híbrida de conhecimento de domínio

Pesquisadores da Nvidia introduziram o FusionRelight, um método para realinhamento de retratos que combina transferência de iluminação fisicamente plausível com preservação de identidade e inferência compacta em tempo real. A abordagem utiliza a Fusão Híbrida de Conhecimento de Domínio (HDKF), uma estrutura de treinamento que destila priors de física, refletância e realismo a partir de dados sintéticos, One-Light-at-a-Time (OLAT) e in-the-wild em um modelo estudante.

lab NVIDIA Research · há 44 d · 25 visualizações

Quantização de Codebook Agrupado para Compressão de Imagens Baseada em Gaussiana 2D

Pesquisadores apresentam o Cluster-Guided Vector Quantization (CGVQ), um método projetado para melhorar o desempenho de taxa-distorção na compressão de imagens baseada em primitivas gaussianas. A abordagem particiona os parâmetros de Gaussiana em grupos homogêneos antes da quantização, abordando a ineficiência causada pelo armazenamento de grandes números de parámetros de ponto flutuante por primitiva.

arxiv arXiv cs.LG · há 6 d · 10 visualizações

FlashAttention-4 introduz Direct-P para inferência e treinamento de FP4 com consciência de hardware

O FlashAttention-4 aborda as limitações de desempenho dos núcleos de tensores de ponto flutuante de 4 bits (FP4) do Blackwell, introduzindo novos caminhos para inferência não causal e treinamento causal. O método, chamado Direct-P, mapeia escores diretamente para probabilidades FP4 para contornar os custos de conversão de softmax que normalmente dominam quando os produtos matriciais diminuem.

github llama.cpp · há 7 d · 10 visualizações

llama.cpp adiciona suporte para NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduz suporte para o modelo NVIDIA Nemotron-3-Puzzle-75B-A9B, habilitando inferência para esta arquitetura de Mixture of Experts. A atualização implementa infraestrutura para tamanhos de feed-forward de experts por camada variáveis e roteamento top-k, que são necessários porque o modelo tem 40 camadas MoE com valores distintos de n_ff_exp e top-k.

lab OpenAI News · há 16 d · 29 visualizações

OpenAI relata que chip Jalapeño oferece até 3,6x menos latência e 1,9x mais eficiência

A OpenAI divulgou os primeiros resultados de desempenho do Jalapeño, seu primeiro chip de inferência personalizado, demonstrando ganhos significativos em velocidade e eficiência energética em comparação com sistemas comerciais existentes. A empresa afirma que a nova arquitetura permite maior vazão e menor latência simultaneamente, abordando uma troca comum no hardware atual.