arxiv arXiv cs.AI · há 2 d · fonte: há 3 d · research

TokenProbe reduz o uso de tokens no CoT em 76% enquanto preserva a qualidade do raciocínio

Traduzido do English → Português (BR)

Pesquisadores apresentam o TokenProbe, uma estrutura que aborda o alto consumo de tokens do raciocínio em cadeia (Chain-of-Thought) explorando o valor não uniforme dos tokens dentro de uma sequência. O método usa probabilidade logarítmica normalizada para distinguir tokens estruturais centrais de preenchimento redundante, permitindo compressão seletiva.

O TokenProbe identifica tokens centrais que carregam conteúdo decisivo de raciocínio versus preenchimento exploratório de baixa confiança usando sinais de probabilidade logarítmica.
Ele introduz um objetivo GRPO eficiente que comprime seletivamente tokens redundantes para melhorar a relação entre precisão e eficiência de tokens.
A abordagem reduz o uso de tokens em 76% em comparação com a linha de base, mantendo a qualidade do raciocínio.
Com orçamentos de comprimento de raciocínio correspondentes, o TokenProbe supera linhas de base fortes como Gemini-3.1-Pro.

Este trabalho demonstra que comprimir tokens de baixo valor gera melhorias de Pareto, permitindo raciocínio eficiente sem sacrificar o desempenho.

Importância 2/3 arXiv cs.AI Inference efficiency Research paper

Artigos relacionados

media Hugging Face Forums · há 11 d · 21 visualizações

GlucoEdge: previsão de tendência glicêmica em dispositivo com quantização INT8

O pesquisador independente Mohamed Menasy publicou o GlucoEdge, um estudo de engenharia que detalha um pipeline de aprendizado de máquina em dispositivo para previsão de tendência glicêmica de cinco classes e 15 minutos a partir de dados de monitor contínuo de glicose. O trabalho apresenta uma CNN 1D compacta com apenas 2.909 parâmetros e abrange o fluxo completo de trabalho, desde o PyTorch até a conversão para LiteRT.

media Hugging Face Forums · há 11 d · 35 visualizações

Revisão de literatura encontra que economias de compressão se correlacionam fracamente com a energia medida

Um pesquisador independente publicou uma revisão de literatura analisando se técnicas de compressão de modelos, como quantização, poda e destilação, realmente reduzem o consumo de energia medido ou apenas diminuem os FLOPs.

lab Hugging Face Blog · há 36 d · 44 visualizações

QAH da Multiverse Computing faz GPT-OSS em 4 bits superar sua versão original de precisão completa

A Multiverse Computing apresenta o Healing Consciente de Quantização (QAH), um método que destila grandes modelos de linguagem comprimidos e quantizados diretamente a partir de seus professores originais pré-compressão. Aplicado a um modelo GPT-OSS 120B comprimido para 60B parâmetros e quantizado para MXFP4, a abordagem produz um modelo que supera sua própria versão bfloat16 de precisão completa em 7 dos 9 benchmarks.

arxiv arXiv cs.CL · há 48 d · 36 visualizações

Multiplicação de Matrizes Reduzida: Redução do Produto Matricial Adaptativo à Entrada para Inferência de LLMs

Pesquisadores propõem a Multiplicação de Matrizes Reduzida (RMM), um método de inferência adaptativo à entrada e sem treinamento que reduz os produtos matriciais dos Transformers ao selecionar fatias informativas ao longo das dimensões de contração, sem modificar os pesos do modelo. Sob um controle simples da taxa de retenção, o RMM oferece uma troca suave e previsível entre precisão e eficiência em modelos de linguagem que variam de 1B a 70B parâmetros.

lab NVIDIA Research · há 50 d · 51 visualizações

DSTP mitiga falhas na poda de tokens visuais no raciocínio complexo de MLLM

Pesquisadores identificaram o Deslocamento de Informação Visual Relevante (RVIS) durante a decodificação como a causa principal da falha dos métodos existentes de poda de tokens visuais em Modelos de Linguagem Grande Multimodais (MLLMs). Para abordar isso, eles propõem a Poda de Tokens Consciente do Deslocamento na Fase de Decodificação (DSTP), um framework sem treinamento que alinha os tokens visuais com os requisitos de raciocínio em mudança.