arxiv arXiv cs.AI · hace 2 d · fuente: hace 3 d · research

TokenProbe reduce el uso de tokens en CoT un 76% mientras preserva la calidad del razonamiento

Traducido del English → Español

Los investigadores presentan TokenProbe, un marco que aborda el alto consumo de tokens del razonamiento en cadena (Chain-of-Thought) aprovechando el valor no uniforme de los tokens dentro de una secuencia. El método utiliza la probabilidad logarítmica normalizada para distinguir los tokens estructurales centrales del relleno redundante, permitiendo una compresión selectiva.

TokenProbe identifica los tokens centrales que llevan contenido de razonamiento decisivo frente al relleno exploratorio de baja confianza utilizando señales de probabilidad logarítmica.
Introduce un objetivo GRPO eficiente que comprime selectivamente los tokens redundantes para mejorar el equilibrio entre precisión y eficiencia de tokens.
El enfoque reduce el uso de tokens en un 76% en comparación con la línea base mientras mantiene la calidad del razonamiento.
Con presupuestos de longitud de razonamiento coincidentes, TokenProbe supera a líneas base insignia fuertes como Gemini-3.1-Pro.

Este trabajo demuestra que comprimir tokens de bajo valor produce mejoras de Pareto, permitiendo un razonamiento eficiente sin sacrificar el rendimiento.

Importancia 2/3 arXiv cs.AI Inference efficiency Research paper

Artículos relacionados

media Hugging Face Forums · hace 11 d · 21 vistas

GlucoEdge: predicción de tendencias glucémicas en el dispositivo con cuantización INT8

El investigador independiente Mohamed Menasy ha publicado GlucoEdge, un estudio de ingeniería que detalla una canalización de aprendizaje automático en el dispositivo de extremo a extremo para la predicción de tendencias glucémicas de cinco clases y 15 minutos a partir de datos de monitores continuos de glucosa. El trabajo introduce un CNN 1D compacto que contiene solo 2.909 parámetros y cubre todo el flujo de trabajo desde PyTorch hasta la conversión a LiteRT.

media Hugging Face Forums · hace 11 d · 35 vistas

Una revisión de la literatura encuentra que el ahorro por compresión se correlaciona débilmente con la energía medida

Un investigador independiente ha publicado una revisión de la literatura que analiza si las técnicas de compresión de modelos como la cuantización, la poda y la destilación realmente reducen el consumo de energía medido o simplemente disminuyen los FLOPs.

lab Hugging Face Blog · hace 36 d · 44 vistas

La QAH de Multiverse Computing hace que GPT-OSS de 4 bits supere a su versión original de precisión completa

Multiverse Computing presenta la Curación Consciente de Cuantización (QAH), un método que destila grandes modelos de lenguaje comprimidos y cuantizados directamente a partir de sus maestros originales previos a la compresión. Aplicado a un modelo GPT-OSS 120B comprimido a 60B parámetros y cuantizado a MXFP4, el enfoque produce un modelo que supera su propia versión bfloat16 de precisión completa en 7 de los 9 benchmarks.

arxiv arXiv cs.CL · hace 48 d · 36 vistas

Multiplicación de matrices reducida: reducción adaptativa al entrada del producto matricial para inferencia de LLM

Los investigadores proponen la Multiplicación de Matrices Reducida (RMM), un método de inferencia sin entrenamiento y adaptativo a la entrada que reduce los productos matriciales de Transformers seleccionando fragmentos informativos a lo largo de las dimensiones de contracción, sin modificar los pesos del modelo. Bajo un control simple de la proporción de retención, RMM ofrece una compensación suave y predecible entre precisión y eficiencia en modelos de lenguaje que van desde 1B hasta 70B parámetros.

lab NVIDIA Research · hace 50 d · 51 vistas

DSTP mitiga fallos en la poda de tokens visuales en el razonamiento complejo de MLLM

Los investigadores identificaron el Desplazamiento de Información Visual Relevante (RVIS) durante la decodificación como la causa principal del fallo de los métodos existentes de poda de tokens visuales en Modelos de Lenguaje Grande Multimodales (MLLM). Para abordar esto, proponen la Poda de Tokens Consciente del Desplazamiento en la Etapa de Decodificación (DSTP), un marco sin entrenamiento que alinea los tokens visuales con los requisitos cambiantes del razonamiento.