Nokia Applied Research ha lanzado AnyJev, un proyecto que permite a los usuarios extraer decisiones confiables directamente del estado interno de un LLM en un solo pase hacia adelante.
Los investigadores presentan TokenProbe, un marco que aborda el alto consumo de tokens del razonamiento en cadena (Chain-of-Thought) aprovechando el valor no uniforme de los tokens dentro de una secuencia. El método utiliza la probabilidad logarítmica normalizada para distinguir los tokens estructurales centrales del relleno redundante, permitiendo una compresión selectiva.
El investigador independiente Mohamed Menasy ha publicado GlucoEdge, un estudio de ingeniería que detalla una canalización de aprendizaje automático en el dispositivo de extremo a extremo para la predicción de tendencias glucémicas de cinco clases y 15 minutos a partir de datos de monitores continuos de glucosa. El trabajo introduce un CNN 1D compacto que contiene solo 2.909 parámetros y cubre todo el flujo de trabajo desde PyTorch hasta la conversión a LiteRT.
Un investigador independiente ha publicado una revisión de la literatura que analiza si las técnicas de compresión de modelos como la cuantización, la poda y la destilación realmente reducen el consumo de energía medido o simplemente disminuyen los FLOPs.
Multiverse Computing presenta la Curación Consciente de Cuantización (QAH), un método que destila grandes modelos de lenguaje comprimidos y cuantizados directamente a partir de sus maestros originales previos a la compresión. Aplicado a un modelo GPT-OSS 120B comprimido a 60B parámetros y cuantizado a MXFP4, el enfoque produce un modelo que supera su propia versión bfloat16 de precisión completa en 7 de los 9 benchmarks.
Los investigadores proponen la Multiplicación de Matrices Reducida (RMM), un método de inferencia sin entrenamiento y adaptativo a la entrada que reduce los productos matriciales de Transformers seleccionando fragmentos informativos a lo largo de las dimensiones de contracción, sin modificar los pesos del modelo. Bajo un control simple de la proporción de retención, RMM ofrece una compensación suave y predecible entre precisión y eficiencia en modelos de lenguaje que van desde 1B hasta 70B parámetros.
Usamos cookies para medir el tráfico y mejorar el sitio. Puedes aceptar o rechazar las cookies de analítica. Política de privacidad