arxiv arXiv cs.CL · há 2 d · fonte: há 3 d · research

TokenProbe reduz o uso de tokens CoT em 76% enquanto preserva a precisão

Traduzido do English → Português (BR)

Pesquisadores apresentam o TokenProbe, uma estrutura que aborda o alto consumo de tokens do raciocínio Chain-of-Thought explorando o valor não uniforme dos tokens dentro das trilhas de raciocínio. O método distingue tokens centrais que carregam conteúdo decisivo de preenchimento redundante usando sinais de probabilidade logarítmica normalizada.

TokenProbe utiliza a probabilidade logarítmica em nível de token para identificar e comprimir tokens exploratórios de baixa confiança.
Ele introduz um objetivo GRPO eficiente que remove seletivamente tokens redundantes para melhorar o equilíbrio entre precisão e eficiência de tokens.
Resultados empíricos mostram uma redução de 76% no uso de tokens em comparação com a linha de base, mantendo a qualidade do raciocínio.
Com orçamentos de comprimento de raciocínio correspondentes, a abordagem supera linhas de base fortes como Gemini-3.1-Pro.

Este trabalho demonstra que comprimir seletivamente tokens redundantes gera melhorias Pareto, permitindo que os modelos alcancem maior eficiência sem sacrificar o desempenho.

Importância 2/3 arXiv cs.CL Reasoning models Research paper

Artigos relacionados

arxiv arXiv cs.CL · há 8 d · 19 visualizações

TelecomGPT-R1: Pós-treinamento unificado para raciocínio em tarefas de telecomunicações heterogêneas

Pesquisadores apresentam o TelecomGPT-R1, uma família de modelos de raciocínio unificados de telecomunicações de código aberto, projetados para automatizar tarefas de engenharia por meio do raciocínio sobre padrões, configurações e logs. O modelo aborda as limitações dos LLMs generalistas e especializados existentes por meio de uma abordagem estruturada que abrange os eixos de protocolo, conhecimento, modelagem e falhas.

media Hugging Face Forums · há 10 d · 17 visualizações

Proposta para um sistema de decomposição de proposições e raciocínio orientado por contradições

Um autor propõe um design de pesquisa para um sistema de raciocínio que detecta contradições entre duas proposições ao decompor as mesmas em componentes menores e buscar colisões lógicas, em vez de depender do julgamento direto de LLM.

media Don't Worry About the Vase · há 58 d · 47 visualizações

Astra da OpenAI resolve 10 grandes problemas abertos de matemática

A OpenAI divulgou os resultados de seu modelo interno não lançado, o Astra, que conseguiu resolver dez problemas abertos significativos em matemática. As soluções foram geradas pelo modelo e posteriormente formalizadas em certificados Lean por pesquisadores humanos.

blog Simon Willison · há 60 d · 61 visualizações

Modelo Astra da OpenAI resolve dez problemas matemáticos de longa data usando GPT-5.6 Sol

A OpenAI lançou soluções para dez problemas de matemática e ciência da computação teórica que não tinham visto progresso em seus resultados principais por pelo menos uma década, usando uma versão interna de seu próximo modelo principal, Astra.

arxiv arXiv cs.AI · há 70 d · 42 visualizações

PoTRE apresenta estrutura multiagente heterogênea para raciocínio em tempo de teste

Os autores apresentam o PoTRE (Poly-Topological Reasoning Ensembles), uma estrutura projetada para abordar as limitações da solicitação padrão de fluxo único em tarefas complexas de raciocínio. O PoTRE desacopla a inferência em quatro agentes distintos: um Agente de Refinamento Adversarial, um Agente de Planejamento Estratégico Hierárquico, um Agente de Busca Espectral e um Agente de Cadeia Direta.