media Hugging Face Forums · hace 4 d · open_models

Una revisión de la literatura encuentra que el ahorro por compresión se correlaciona débilmente con la energía medida

Traducido del English → Español

Un investigador independiente ha publicado una revisión de la literatura que analiza si las técnicas de compresión de modelos como la cuantización, la poda y la destilación realmente reducen el consumo de energía medido o simplemente disminuyen los FLOPs.

La revisión se basa en un corpus de 53 obras de 2019 a 2026.
Los estimadores de energía por software y los contadores de hardware (RAPL, NVML) difieren en márgenes comparables al ahorro reclamado por los métodos de compresión.
Los FLOPs se correlacionan débilmente con la energía medida una vez que se tienen en cuenta el ancho de banda de memoria, el tamaño del lote y la realización del kernel del backend.
Las clasificaciones de compresión en una plataforma de hardware no se transfieren de manera fiable a otra.

El autor comparte la revisión y las tablas de datos asociadas en Zenodo y GitHub, mientras busca un aval de cs.LG para publicar el trabajo en arXiv.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Inference efficiency Research paper

Leer original

GlucoEdge: predicción de tendencias glucémicas en el dispositivo con cuantización INT8

El investigador independiente Mohamed Menasy ha publicado GlucoEdge, un estudio de ingeniería que detalla una canalización de aprendizaje automático en el dispositivo de extremo a extremo para la predicción de tendencias glucémicas de cinco clases y 15 minutos a partir de datos de monitores continuos de glucosa. El trabajo introduce un CNN 1D compacto que contiene solo 2.909 parámetros y cubre todo el flujo de trabajo desde PyTorch hasta la conversión a LiteRT.

lab Hugging Face Blog · hace 29 d · 39 vistas

La QAH de Multiverse Computing hace que GPT-OSS de 4 bits supere a su versión original de precisión completa

Multiverse Computing presenta la Curación Consciente de Cuantización (QAH), un método que destila grandes modelos de lenguaje comprimidos y cuantizados directamente a partir de sus maestros originales previos a la compresión. Aplicado a un modelo GPT-OSS 120B comprimido a 60B parámetros y cuantizado a MXFP4, el enfoque produce un modelo que supera su propia versión bfloat16 de precisión completa en 7 de los 9 benchmarks.

arxiv arXiv cs.CL · hace 40 d · 31 vistas

Multiplicación de matrices reducida: reducción adaptativa al entrada del producto matricial para inferencia de LLM

Los investigadores proponen la Multiplicación de Matrices Reducida (RMM), un método de inferencia sin entrenamiento y adaptativo a la entrada que reduce los productos matriciales de Transformers seleccionando fragmentos informativos a lo largo de las dimensiones de contracción, sin modificar los pesos del modelo. Bajo un control simple de la proporción de retención, RMM ofrece una compensación suave y predecible entre precisión y eficiencia en modelos de lenguaje que van desde 1B hasta 70B parámetros.

lab NVIDIA Research · hace 43 d · 47 vistas

DSTP mitiga fallos en la poda de tokens visuales en el razonamiento complejo de MLLM

Los investigadores identificaron el Desplazamiento de Información Visual Relevante (RVIS) durante la decodificación como la causa principal del fallo de los métodos existentes de poda de tokens visuales en Modelos de Lenguaje Grande Multimodales (MLLM). Para abordar esto, proponen la Poda de Tokens Consciente del Desplazamiento en la Etapa de Decodificación (DSTP), un marco sin entrenamiento que alinea los tokens visuales con los requisitos cambiantes del razonamiento.

media Hugging Face Forums · hace 50 d · 29 vistas

Atención lineal causal O(N) con compuerta de decaimiento y núcleo Triton fusionado, de código abierto

Un desarrollador ha liberado como código abierto una arquitectura de Atención Lineal Causal O(N) con compuerta de decaimiento que incluye núcleos de acumulación de estado Triton/CUDA fusionados, diseñados para evitar los cuellos de botella de MHA cuadrático.