media Hugging Face Forums · há 4 d · open_models

Revisão de literatura encontra que economias de compressão se correlacionam fracamente com a energia medida

Traduzido do English → Português (BR)

Um pesquisador independente publicou uma revisão de literatura analisando se técnicas de compressão de modelos, como quantização, poda e destilação, realmente reduzem o consumo de energia medido ou apenas diminuem os FLOPs.

A revisão baseia-se em um corpus de 53 obras de 2019 a 2026.
Estimadores de energia por software e contadores de hardware (RAPL, NVML) discordam em margens comparáveis às economias reivindicadas pelos métodos de compressão.
Os FLOPs se correlacionam fracamente com a energia medida uma vez que a largura de banda de memória, o tamanho do lote e a realização do kernel do backend são considerados.
As classificações de compressão em uma plataforma de hardware não se transferem de forma confiável para outra.

O autor compartilha a revisão e as tabelas de dados associadas no Zenodo e no GitHub, enquanto busca um endosso do cs.LG para publicar o trabalho no arXiv.

Importância 1/3 Confiança 1/3 Hugging Face Forums Inference efficiency Research paper

Ler original

GlucoEdge: previsão de tendência glicêmica em dispositivo com quantização INT8

O pesquisador independente Mohamed Menasy publicou o GlucoEdge, um estudo de engenharia que detalha um pipeline de aprendizado de máquina em dispositivo para previsão de tendência glicêmica de cinco classes e 15 minutos a partir de dados de monitor contínuo de glicose. O trabalho apresenta uma CNN 1D compacta com apenas 2.909 parâmetros e abrange o fluxo completo de trabalho, desde o PyTorch até a conversão para LiteRT.

lab Hugging Face Blog · há 29 d · 39 visualizações

QAH da Multiverse Computing faz GPT-OSS em 4 bits superar sua versão original de precisão completa

A Multiverse Computing apresenta o Healing Consciente de Quantização (QAH), um método que destila grandes modelos de linguagem comprimidos e quantizados diretamente a partir de seus professores originais pré-compressão. Aplicado a um modelo GPT-OSS 120B comprimido para 60B parâmetros e quantizado para MXFP4, a abordagem produz um modelo que supera sua própria versão bfloat16 de precisão completa em 7 dos 9 benchmarks.

arxiv arXiv cs.CL · há 40 d · 31 visualizações

Multiplicação de Matrizes Reduzida: Redução do Produto Matricial Adaptativo à Entrada para Inferência de LLMs

Pesquisadores propõem a Multiplicação de Matrizes Reduzida (RMM), um método de inferência adaptativo à entrada e sem treinamento que reduz os produtos matriciais dos Transformers ao selecionar fatias informativas ao longo das dimensões de contração, sem modificar os pesos do modelo. Sob um controle simples da taxa de retenção, o RMM oferece uma troca suave e previsível entre precisão e eficiência em modelos de linguagem que variam de 1B a 70B parâmetros.

lab NVIDIA Research · há 43 d · 47 visualizações

DSTP mitiga falhas na poda de tokens visuais no raciocínio complexo de MLLM

Pesquisadores identificaram o Deslocamento de Informação Visual Relevante (RVIS) durante a decodificação como a causa principal da falha dos métodos existentes de poda de tokens visuais em Modelos de Linguagem Grande Multimodais (MLLMs). Para abordar isso, eles propõem a Poda de Tokens Consciente do Deslocamento na Fase de Decodificação (DSTP), um framework sem treinamento que alinha os tokens visuais com os requisitos de raciocínio em mudança.

media Hugging Face Forums · há 50 d · 29 visualizações

Atenção Linear Causal O(N) com Gating de Decaimento e kernel Triton fundido

Um desenvolvedor abriu o código-fonte de uma arquitetura de Atenção Linear Causal O(N) com Gating de Decaimento, apresentando kernels de acumulação de estado fundidos Triton/CUDA projetados para contornar os gargalos do MHA quadrático.